晚点聊 LateTalk

• 143: 再聊 Attention：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进

  「不仅是提效，线性注意力在数据受限情况下的更多潜力。」 今年初的两期节目（103、104 期）里也讨论过注意力机制，这是大语言模型的核心机制。 9 月 和 10 月，阿里和 Kimi 都发布了相关进展，而且都用到了一个线性注意力成果，DeltaNet。 本期嘉宾，就是 DeltaNet 的核心贡献者之一，现在在 MIT 读博士的杨松琳，她也是线性注意力开源小组 FLA 的发起者。 这期节目在 25 分钟以前很硬核，松琳讲了线性注意力和 DeltaNet 的发展脉络，为何 21 年刚被提出时没引起太多注意，后来怎么进化的。 25 分钟以后，是关注 AI 比较多的文科生，比如我也能完全跟上的部分。我们讨论了，重新去做 full attention 的 MiniMax，以及未来要在旗舰模型上用线性注意力的 Kimi 和阿里的不同选择；线性注意力的优劣势；以及一些脑洞——如果算力无限，还需要线性注意力？松琳给了很有启发的回答。 最后半小时，松琳分享了她作为研究员，怎么习得交叉技能的，怎么开始发起FLA小组等成长经历。 本期嘉宾：杨松琳，MIT 博士生在读，DeltaNet 贡献者 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -DeltaNet 的诞生演进与近期动向 02:07 注意力机制是什么？ 04:21 DeltaNet 的提出，用 Delta Rule 来增强 in-context retrieval 09:41 近年的改进主要是模型架构，而非“更新规则” 14:25 阿里 Qwen 团队 apple to apple 比较几种线性注意力混合方式；Kimi Linear 对 Gated Delta 的具体改进 17:00 更新规则和模型架构改进的区别：更新规则是在算子层面“动刀” 19:50 算法出身，自学 Infra；学习 Hazy Research Group 的风格 23:28 Qwen 和 Kimi 大概率在下一代旗舰模型用线性注意力，而 MiniMax 用回 full attention；DeepSeek 目前释放的改进都是“稀疏注意力” 37:07 稀疏注意力 vs 线性注意力潜力对比 39:40 即使算力无限，线性注意力仍有价值，因为它在有限数据中的学习效率更高，而高质量数据正是当前瓶颈 42:28 线性注意力在状态追踪上也可能有效果优势，而状态追踪对 Agentic 很重要 47:33 线性注意力的“归纳偏见”和 The Bitter Lesson：先验与 scalable 并不矛盾 49:30 回应 RWKV（原始智能）彭博：从未说发明 DeltaNet，一直在给 Schmidhuber 署名 -Householder 与 DeltaNet 的联想，像运营产品一样运营技术社区 51:51 关注注意力改进的起点，数学知识、Infra，交叉能力怎么积累？ 58:48 发现 Hoseholder 累乘和 DeltaNet 关联的过程 01:02:44 AI 何时能像人这样产生联想？——Prompt 合适，大模型应该能独立发现这个算法 01:04:11 FLA 小组的产生，受 Tri Dao 做 FlashAttention 的启发，像运营产品一样运营技术社区；Kimi 从 FLA 小组招募了线性注意力研究者 -注意力改进的未来趋势 01:11:24 稀疏注意力的改进，DeepSeek 年初 NSA 到最近 DSA 的变化 01:16:44 线性注意力的改进，从线性混合全注意力，到线性混合稀疏注意力（比如混合 DeepSeek DSA 和 Kimi KDA 😀 01:21:10 更广泛来说，关注何种模型演进？——持续学习 相关链接： 图文版：《再谈注意力：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进丨晚点播客》 (https://mp.weixin.qq.com/s/bjRAqIn9sEVE03dW6ToEEg) 晚点聊 103 期：《用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进》 (https://www.xiaoyuzhoufm.com/episode/67bf356952a6af799c558399?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 104 期：《我给线性注意力找“金主”，字节 say No，MiniMax say Yes》 (https://www.xiaoyuzhoufm.com/episode/67c63718e24b741ee8e2ee63?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 剪辑制作：Nick 附录，本期提到的一些论文（更多具体名词解释，见本期文字版）： Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention (https://arxiv.org/abs/2006.16236) Linear Transformers Are Secretly Fast Weight Programmers (https://arxiv.org/abs/2102.11174) Parallelizing Linear Transformers with the Delta Rule over Sequence Length (https://arxiv.org/abs/2406.06484) Gated Linear Attention Transformers with Hardware-Efficient Training (https://arxiv.org/abs/2312.06635) Recurrence-Complete Frame-based Action Models (https://arxiv.org/abs/2510.06828) 本期主播： 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章： https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

  --------  

  1:27:20

  --------

  1:27:20
• 142: 一款能主动教学的 AI 产品是如何出现的｜对话斑马 CPO 修佳明

  教育或许是最难被技术改造的领域，因为它太强调互动、个性化的体验与启发性的反馈，这个过程既难标准化，又无法快速复制。 直到大模型的出现，让人第一次看到了教育被技术大规模改造的可能性。市场上旋即涌现出来的各种五花八门的 AI 教育产品，它们从各种层面试图运用大模型的能力，但也反映出在原理技术到面向市场的商业产品之间，大模型在教育场景的落地还存在着一条难以被清晰描摹的鸿沟。 今天的播客，我们与斑马首席产品官修佳明探讨了这条鸿沟本身，以及斑马逾越它的方式。 基于大模型特点，原生构建的 AI 教育产品应该是什么样的？如何摆脱工具属性，让大模型 Agent 成为一个可以主导教学过程的教育产品？如何设计教学梯度、节奏和目标，既能发挥大模型的主动性，又不让一切偏离教学目的本身？如何让大模型更好理解人类在教学领域积累的各种经验，让它更好实践已被证明有效的各种教学法和教育心理学方法？ 对这些问题的回应将决定一款 AI 教学产品的本质，进而决定它的商业化前景。修佳明给出了斑马的回答。 本期节目由 斑马口语 特别支持播出。 本期嘉宾：修佳明，斑马首席产品官 本期主播：申远，晚点 latepost 记者 时间线跳转： -Part1：斑马心中的全栈式 AI 教育产品 04:36 确定性的方向 08:01 与模型“搏斗” 13:58 为什么开发 delay 了？ -Part2：主动性 VS 被动型，斑马产品的核心差异 20:56 从维持能力到突破能力 24:08 让大模型学会人的教学经验与教学法 29:36 更难的是对（教学）难度的控制 34:16 这种模式适合所有人吗？ 35:54 让 AI 提供一种教学情绪价值 41:38 对 AI 外教人格的理解 -Part3：将 AI 产品推向市场 47:37 试用用户的反馈与规则设定 52:06 如何衡量 AI 的教学能力？ 56:28 未来的 AI 教学产品会如何发展 59:22 如何运用数据和经验：斑马的 AI 壁垒在哪里 01:04:05 AI 产品还是教育产品？斑马的付费和定价策略 相关链接： 《主导型教育 Agent 产品，是口语学习的终极答案吗？》 (https://mp.weixin.qq.com/s/OlSnwvQKmu3_4F-7hU5XBQ) 本期主播：申远，晚点 latepost 记者 https://i.ibb.co/pt55jRm/20251121-223803.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章： https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

  --------  

  1:15:00

  --------

  1:15:00
• 141: 大疆激光雷达前负责人做了台“电动轮椅”？与 Strutt 洪小平聊创业两年半：不做人形也能通向具身

  「大家更关注 PMF 的 M（需求），但有时 P（产品）做得足够好，M 就能自动打开。」 “大疆系”正成为创投圈的一股小风潮。2023 年夏天，洪小平创立 Strutt（若创科技），他曾任大疆光电部及激光雷达产品线览沃负责人。 Strutt 的首款产品 ev¹ 即将在明年初正式发售 ，它看起来是一台电动轮椅，而洪小平告诉我，ev¹ 不是一台智能轮椅，“而是一种新的移动出行设备”。这听起来有些抽象，直到我在旧金山遇到了 ev¹ 的用户：双臂残缺，只有两根手指的 Usman；脊椎脆弱的 16岁少女 Ali，和患有多发性硬化症的 Joe。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251124/g8bk/1280X663/b43c77c3-25d6-4a0e-9aaa-71a71c20449a.png/webp 旧金山试用会现场，Scott、Micah 两位 YouTube 博主和 Usman 坐着 ev¹ 比赛，看谁先到达车道末端。（这张照片里就有两台 Insta360 X 系列全景相机，现场也有好几台大疆 Pocket 3。） 我更多感受到的他们与我们的相同。他们不仅想要基础保障，也想要更好的生命体验。科技爱好者 Usman 戴着 Apple Watch 和 Ray-ban Meta，他曾用 Vision Pro 操控 ev¹；Ali 给轮椅编织了花朵；Joe 那天分享了很多他年轻时旅行和玩帆船的旧照片。他们渴望的不是另一台轮椅，而是减少出行顾虑，能去更多地方的自由。 我自己也两次试用了 ev¹，Copilot+ 模式的驾驶体验对我来说也很有趣。洪小平设想，在大型公园、机场等区域，更多人可能都需要 ev¹ 这样的设备。 本期，这位曾经在伯克利研究纳米材料的物理学博士，分享了他在大疆，如何从研究者转型为业务负责人；以及创业两年半以来，组建团队，开发产品、做减法的历程。 本期访谈的图文版：《大疆览沃前负责人洪小平创业：我做的不是一台电动轮椅》 (https://mp.weixin.qq.com/s/HRP3mKrFK7MA2O_4S8ntJw) 本期嘉宾：洪小平，Strutt 创始人兼 CEO 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -投资人总问：为什么你们不做人形机器人？ 02:07 伯克利物理学博士→组建大疆光电部：奔着量产做激光雷达 08:26 大疆→南方科技大学：新工科教育 & 思考创业，锁定「机器人」方向 14:03 直接做人形机器人和具身“终极形态”，是“有方法、没路径” 18:04 OpenAI 加大投入 LLM 时，已有早期信，具身没到这个状态；识别早期信号的核心是数据积累 22:43 看到“老龄化”去收，就是它了！ 25:13 个人移动设备能获得宝贵的家庭、生活场景数据 -ev¹ 的诞生，它不是电动轮椅 29:28 ev¹ 是泛个人出行设备，它的完整体验 35:07 出行的自由和喜悦，不分健康或残疾、衰老或年轻 41:13 大家更关注 PMF 的 M（需求），但有时 P（产品）做得足够好，M 就能自动打开 43:26 ev¹ 的开发，从做加法到做减法 47:51 观察用户说不出来的需求； 51:19 ev¹ 也是一个 Robot Helper 和机器人平台：可加传感器、执行器、计算单元等配件 56:50 在双滚机上做 200 万圈测试 58:33 “产品真正帮到人”的感觉，很触动 01:00:54 Go to Market 策略：定价、渠道、规模 -什么是一个好团队？大疆怎么又极致，又“舒适”？ 01:03:55 创业，从“定义一个好团队”开始 01:07:25 大疆的“舒适”：技术说话、以结果论英雄、可以专注自己的事 01:12:35 应对未来可能的竞争：品牌、专利布局、团队综合性，本质是团队效率 01:19:33 消费科技公司，在高效 vs 速度上的分布：追觅、Insta360、大疆 01:22:39 为什么大疆到 2019 年才定成文价值观？ 01:24:43 Next Question：跨越鸿沟——ev¹ 这样的产品怎么进入大众市场？ 01:28:06 连点成线：往期推荐 附（播客中提到的部分术语、人物的表达可见图文版，如 VLA、PaLM-E、RT-2、吴景深等，以下摘录文字版中没提及的部分）： 王铭钰：汝原科技创始人，大疆前研发副总裁，主导多款旗舰无人机的工程体系建设。（节目中提到的邀请洪小平加入大疆的港科本科同学） 魏基栋：松灵机器人创始人兼 CEO，大疆 Robomaster 业务的一号员工和联创，2016 年创业；库犸智能割草机即由松灵推出。 拓竹：一家 3D 打印机公司，旗下也有 WorldMaker 3D 模型共享平台；由陶冶创立，他曾任大疆动力系统部门经理、Mavic pro 产品经理、大疆消费级无人机事业部负责人。 Invacare：美国医疗辅助设备公司，以轮椅、助行器等康复产品为主营（节目中提及的已退市的行业公司）。 肖文龙：Strutt 联创，大疆早期动力系统技术负责人。 大疆 Inspire 产品线：定位于“专业级航拍/影视器材”的无人机序列，是航拍行业的主力设备与标杆产品。 张富：香港大学 工程学院机械工程系副教授，研究方向为激光雷达-惯性／视觉融合 SLAM 算法。 激光雷达 SLAM 算法：基于激光雷达点云定位与建图的算法，让机器人在未知环境中自行导航。 相关链接： 晚点聊 120 期：《科创板后再访Insta360刘靖康：这何尝不是一种极限运动！》 (https://www.xiaoyuzhoufm.com/episode/684b3febcdecf72d4cb70f82) 晚点聊 118 期：《天生卷王郭人杰：从 97 年的扫地机器人总裁到创业做家庭通用机器人》 (https://www.xiaoyuzhoufm.com/episode/68379234661c1af455c9e42c) 晚点聊 87 期：《家里又多了个“怪东西”！与云鲸聊新消费电子品的诞生》 (https://www.xiaoyuzhoufm.com/episode/6722bab9602cbdd915a3fbdb?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 剪辑制作：甜食 本期主播： 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章： https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

  --------  

  1:30:22

  --------

  1:30:22
• 140: AI for Science，从开始到现在 | 对话深势科技张林峰、孙伟杰

  「从物理的黄金时代到 AI 的黄金时代。」 大模型热潮正在深入一个硬核领域：AI for Science，用 AI 加速科学发现。由斯坦福大学前校长参与创立的 AI for Science 公司 Xaira Therapeutics，去年一启动就募资超 10 亿美元；OpenAI 也在今年成立“OpenAI for Science”部门，刚在上个月雇了一位黑洞理论物理学家。 早在 6 年多前，中国的 AI for Science 创业实践已经开始。最适合讲述这个故事的是张林峰和孙伟杰。 2018 年，25 岁的他们创立深势科技。 2022 年 3 月，张林峰写文：《AI for Science 2022：未来已来，即将开始流行》https://mp.weixin.qq.com/s/xhGVSY5jBqVMiXrdSKgdcQ 。8个月后，ChatGPT 才发布。 深势的起点，是用 AI 加速求解量子物理中的“第一性原理计算”，即求解“薛定谔方程”等一系列基础量子物理方程。这是量子论和 AI，跨越百年的两个黄金时代的相遇。 1993 年出生的张林峰来自山西汾阳，因参加物理竞赛保送北大。在定位于跨学科教育的元培学院，他同时修了物理、数学、计算机。与张林峰同龄的孙伟杰来自佳木斯，主修政经哲。两个北方高个儿男孩是院篮球队、羽毛球队队友，也在元培学生会体育部搭档。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251110/PYHg/1280X922/acb30997-d89e-40de-9634-32ec595e6d06.jpeg/webp 大二时，元培体育部举办趣味羽毛球赛后，孙伟杰（左）和张林峰（右）从邱德拔体育馆骑车回宿舍。 6 年多来，深势科技推出了 Hermite 药物计算设计平台、Piloteye 能源电池研发平台；以及一系列预训练科学模型，如分子大模型 Uni-Mol、实验表征大模型 Uni-AIMS 、蛋白质大模型 Uni-Fold、基因大模型 Uni-RNA 等；科学文献大模型 Uni-SMART；和综合这些积累的科研平台与科研 Agent，“玻尔科研空间站” 和 SciMaster；服务了宁德时代、比亚迪、多氟多、长安汽车、京东方、东阳光药、人福医药、诺泰生物等企业客户。 本次访谈，我们与张林峰、孙伟杰一起回顾了他们亲历的 AI for Science 从开始到现在的发展脉络，深势科技在有限资源下经历的焦灼、抉择，和他们在科研平台与垂直应用间的取舍。 多年前，杨振宁曾在一次高能物理学术讨论会上说：“The party is over”，上一个物理大发现的时代已然远去。大三时，张林峰一度迷茫：“我们这一代希望从底层科学出发做点儿事的同学，都缺点儿让人兴奋的大问题。” 现在，派对又开始了。 本期访谈的图文版：__ 《对话深势科技张林峰、孙伟杰：AI for Science，从开始到现在》 (https://mp.weixin.qq.com/s/W1c24vLKcjoNlhPdyVv0QA) **本次访谈之后也会发布视频版，可在抖音、B站、小红书、微信视频号搜索“晚点聊”或“晚点”观看。* https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251110/d0Bt/2098X1156/WechatIMG814.jpg/webp 本期嘉宾： 张林峰，深势科技创始人兼首席科学家 孙伟杰，深势科技创始人兼 CEO 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -起点：用 AI 加速“第一性原理计算” 01:32 93 年生人学物理，the party is over 的迷茫 08:42 用 AI 加速第一性原理计算：薛定谔方程、密度泛函、分子动力学 -提出 DeePMD：从“两亿核时”到“笔记本跑半小时” 21:31 第一个 milestone：用一套统一方法表示多种“不变性” 26:27 普林 2017 年的 200 多块 P100→DeePMD-kit→DeepModeling 开源社区 29:51 AlphaFold 和 DeePMD，AI 做科研的两种方式 -起步的 5 年：是公司，也是“大学” 32:38 毕业、回国、创业：机会是 AI for Science，不是 get simulation done 然后发论文 42:06 做微尺度的“达索系统”，把量子物理软件化 56:14 人才培养：在 DP “读大学”的少年们 -从机器学习到 Agent，AI 科学家，AI for Science 的五个阶段 01:04:37 机器学习数理建模→预训练→大语言模型→科研 Agent→AI 科学家 01:16:20 Agent 正在重塑科研范式 01:22:46 “科研无国界”被挑战，在中国，更能推动开源、开放 01:29:00 垂直还是平台，一个必须做的取舍 01:32:57 诺奖表彰“第一个”，而基础平台要做“最后一个” 01:39:24 我们为 AI 科学家做好准备了吗？ -热血少年、沙漠流浪、灌篮高手 01:49:13 欲望与勇气，《牧羊少年的奇幻之旅》 01:55:33 “老爹，你最光辉的时候是什么时候？”“就是现在！” 01:57:21 “理想主义的实干者才能改变世界” 01:57:59 Next Question：Innovator 什么样？第一批 AI 发现的新成果 02:04:04 连点成线：不约而同，我们在好多期节目里都聊到了 AI 加速科学发现 相关链接： 张林峰：《AI for Science 2022：未来已来，即将开始流行》 (https://mp.weixin.qq.com/s/xhGVSY5jBqVMiXrdSKgdcQ) 张林峰：《在PD“读大学”的少年们》 (https://mp.weixin.qq.com/s/MuTfXLL9Wrl9FOWo9QjfJg) 晚点聊 116 期：《当AI研究者写科幻，与Meta田渊栋聊他的智能想象：我们终会“所思即所得”》 (https://www.xiaoyuzhoufm.com/episode/682896c716fbd45594de128c?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 103 期：《用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进》 (https://www.xiaoyuzhoufm.com/episode/67bf356952a6af799c558399?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 101 期：《与王小川聊AI✖️医疗：通向“生命科学的数学原理”》 (https://www.xiaoyuzhoufm.com/episode/67aaefa541b8e4a63c93c03d?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 附：本期节目中出现的术语、人物、公司 鄂维南：应用数学家，中国科学院院士，张林峰在普林斯顿的博士生导师之一；主攻多尺度建模与机器学习在物理系统中的应用。 黎曼几何：研究带曲率空间的几何结构，是广义相对论数学语言的核心，由黎曼在 1850 年代提出。 古典微分几何：研究曲线和曲面的局部几何性质，是现代几何的基础框架，成熟于 1820 年代。 弦论：把“点粒子”换成一维弦来描述宇宙的高能物理理论，试图统一量子力学与引力。 冯济：北京大学量子材料科学中心，博雅特聘教授；罗纳德·霍夫曼的学生。 罗纳德·霍夫曼（Roald Hoffmann）：诺贝尔化学奖得主，以理论化学和化学键研究著称。 邓肯·霍尔丹（Duncan Haldane）：诺贝尔物理学奖得主，因拓扑量子物态理论贡献而闻名。 罗伯特·卡尔（Roberto Car）：计算化学家，张林峰在普林斯顿的博士生导师之一，Car–Parrinello 方法共同提出者。 Michele Parrinello（米歇尔·帕里内洛）：Car–Parrinello 方法的共同提出者。 Ab intio Molecular Dynamics 从头算分子动力学方程 ：Roberto Car 和 Michele Parrinello 在 1985 年发表了论文（Unified Approach for Molecular Dynamics and Density-Functional Theory（《分子动力学和密度泛函理论的统一方法》），提出了Car-Parrinello 分子动力学方法。 薛定谔方程：量子力学的根本方程，描述微观粒子的波函数随时间如何演化。 波函数：在量子力学中刻画系统全部信息的数学对象，其平方给出概率密度。 密度泛函方程：密度泛函理论中的基本方程，通过电子密度而不是波函数求体系能量。 王涵：北京应用物理与计算数学研究所科学家，Deep Potential 的合作者之一 Deep Potential Molecular Dynamics（DeePMD 深度势能分子动力学：深势团队提出的深度势能模型方法，基于神经网络学习原子间相互作用。 DeePMD-kit：DeePMD 方法的开源软件套件，用于训练势能模型并进行分子动力学模拟。 DeepModeling：围绕物质模拟的开源生态，包括 DeePMD 在内的工具集。 汤超：物理学家、生物物理与复杂系统研究者，在理论物理与系统生物学有影响力。2018 年与鄂维南在学术研讨会中一起提出 AI for Science。 薛定谔公司（Schrödinger）：成立于 1990 年，从计算化学软件起步，后来扩展到药物发现平台。 Accelrys（现 Dassault BIOVIA）：成立于 2001 年（由 Molecular Simulations Inc. 等合并而来），在 2014 年被达索系统收购并更名为 BIOVIA。 达索系统（Dassault Systèmes）：成立于 1981 年，最早做 3D 设计与仿真软件（CATIA），后来扩展到材料、生物、制造等全栈建模平台。 玻尔科研空间站：深势团队打造的 AI for Science 计算科学平台。 SciMaster：深势科技 2025 年夏天推出的科研智能体 Uni-Mol：用于分子结构与药物发现任务的通用深度学习模型。 Uni-RNA：使用深度学习处理 RNA 结构与设计任务的模型体系。 Evo 2：2025 年 2 月，由 Arc 研究所、斯坦福、英伟达合作推出的生物分子科学基础模型。 AlphaGenome：2025 年 6 月 DeepMind 发布的一款能解读基因组功能和预测变异效应的模型。 Future House：2023 年 Google 前 CEO 埃里克·施密特支持成立的 AI for Science 公司，主攻新材料、新药研发和 AI 驱动实验。 剪辑制作：Nick 本期主播： 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章： https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

  --------  

  2:06:32

  --------

  2:06:32
• 139: ICCV最佳论文、光年之外、Sand.ai：曹越十年AI之旅，从研究者到CEO

  「从模型驱动到垂直整合：Gaga-1 是第一个产物。」 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251029/x7Fp/1280X910/1280X1280.PNG/webp 图注：飞书“智能会议纪要”功能为本次播客生成的概要图。 本期节目由飞书特别支持播出！欢迎大家尝试“智能会议纪要”(https://www.feishu.cn/product/ai-meeting-summary?hideHeader=1&utm_from=latetalk)，功能，点击前文晚点转述链接，可申请 1 个月免费使用。 2024 年初，刚听说曹越开始新一次创业时，我就找他聊过一次。那时他有一个吸引科技报道者的标签：光年之外联创。 今年 10 月的这次正式访谈中，我有点儿理解了为什么王慧文在 2023 年初见了那么多研究者后，会选择曹越来做技术合伙人——曹越是少数在 ChatGPT 之前，预判到大模型热潮的中国研究者。2021 年，他拿下 ICCV 最佳论文后，离开了微软亚研院，加入了国内最早做大模型的机构，智源研究院。 让我稍感意外的是，曹越做研究员时，就格外关注组织与机制；2021 年，在看到 DALL-E 和 CLIP 后，他开始研究 OpenAI 是怎么协作的，这也是他加入智源的原因之一。 这期节目，曹越回顾了他在清华读本科时，如何看到深度学习，那篇 ICCV 最佳论文的诞生；他从研究员到创业者的转变；对 Sora 的观察，以及 Sand.ai 打造新一代模型 Gaga-1 的思考与实践。 通过学习 OpenAI 等全球顶尖公司，更重要的是通过自己的实践和反馈，曹越现在的认知是，要做一个垂直整合的“端到端”的组织，更好平衡模型进展与从需求出发，10 月中旬 Sand.ai 新发布的模型 Gaga-1 (https://gaga.art/zh/app) 就是垂直整合的产物。它聚焦解决人物表演问题，“人物不一致、表演假”，是许多试图使用 AI 的内容制作者之前最大的痛点。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251030/SWoh/2900X1580/%E6%88%AA%E5%B1%8F2025-10-30_13.48.34.png/webp 图注：在 Gaga AI 网站 (https://gaga.art/zh/app) 上，现在可体验音画同出、聚焦人物表演能力的视频生成 在技术驱动的 AI 创业时代，一个模型出身的创始人，如何判断趋势，又怎么学习做 CEO？曹越分享了他的探索和体验。 本期嘉宾：曹越，Sand.ai 创始人兼 CEO 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251030/B0yw/1655X862/%E6%88%AA%E5%B1%8F2025-10-30_23.09.22.png/webp **本期播客也有视频版，可在抖音、B站、小红书、视频号搜索《晚点 LatePost》观看。* 时间线跳转： -从 ICCV 最佳论文到研究 OpenAI 组织力：设计一个系统，最大化压榨算力 02:08 2014 年转向深度学习 03:37 在微软亚研院学到的-1：关注最重要、且有提升空间的 topic 05:09 Swin Transfomer 的诞生，Transformer 被引入视觉任务的两个阶段 11:15 在微软亚研院学到的-2：判断 topic 还不够，得以足够资源做出极致效果 13:02 CLIP、DALL·E 冲击：OpenAI 不是论文驱动，而是设计一个系统，最大化压榨算力 18:10 从 GPT-3 到 ChatGPT，3 年疫情阻隔使 OpenAI 巨变被忽略 -中国为什么没有出现 OpenAI 这样的组织？王慧文说是“不够富” 21:30 和王慧文、梁文锋聊；他们都在 23 年初遍历国内研究者 26:57 问老王：为什么中国没有出现 OpenAI？——“不够富” 32:54 光年之外的经验：一开始就确立了正确的“找人方法论” 34:36 CEO 容易焦虑，这时可以想想大问题 -“真的了解创业后，突然感觉什么都对了” 37:16 23 年 8 月开始思考创业：视频生成让自己兴奋 40:54 创业前的自我觉察：ambitious 46:59 第一个模型 Magi-1 花了 1 年多：低估了自回归路线的难度 50:23 正在发生的业务窗口是“音画同出” -“Sora 2 是一个端到端的模型，OpenAI 是一个端到端的组织” 52:36 Sora 2 的 3 个特点，第三点最让曹越惊艳 58:23 Sora 2 怎么实现“端到端叙事”的？ 01:03:58 Vibes vs Sora，Meta 是缝合，OpenAI 是整合 -Gaga-1：从需求出发，优先解决人物表演 01:06:53 新模型 Gaga-1 聚焦人物表演，成本大幅下降 01:10:33 用 AI 做短剧，卡点正在人物表演和成本；Sora 的新启发是叙事 01:15:27 需求分析：短剧制作、广告片、C 端斗视频 01:19:42 Sora 能否成为 C 端新平台？曹越的两个判断指标 -垂直整合组织的核心就是：不同背景的人，能对齐上下文 01:23:10 PMF 一直讲，一直难：因为模型和产品的磨合就是要花时间 01:28:07 垂直整合：不同背景的人频繁交流，对齐上下文 01:31:16 再看“模型即产品”：早期产品跟着模型走，现在要互相放大 -成为 CEO 01:38:41 一个“专业”的 CEO 01:42:04 “Gemini 老师”的最大作用是对齐上下文 01:50:27 所有内容的终局都是“叙事” 01:52:29 老王的建议：研究皮克斯商业模式 01:56:06 研究者和 CEO 的“夹角” 01:58:24 最优先级的工作 02:01:01 Next Question：ASI 到来后会怎样 02:03:12 连点成线：往期推荐 相关链接： 图文版：《对话曹越：马尔奖、光年之外、Sand.ai，研究员到 CEO 的十年串起大模型变迁》 (https://mp.weixin.qq.com/s/RvQhgYp530WBLBwrA-DGaw) 晚点聊 136：《Sora新世界 & Lovart 4个月复盘 | 与陈冕聊怎么做垂类Agent|Agent#5》 (https://www.xiaoyuzhoufm.com/episode/68e82298b97d3bce02b4f815?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 58：《光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么？》 (https://www.xiaoyuzhoufm.com/episode/65b19c9bc2bedd4be809a48a?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 39：《从美团收购光年之外，聊聊科技公司收并购的操作与故事》 (https://www.xiaoyuzhoufm.com/episode/64ac929e4367d869a6b86e2f?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 附录： CNN（卷积神经网络）：由 Yann LeCun（杨立昆） 等人在 1989 年提出，用于从图像等网格数据中提取局部特征，是深度学习在计算机视觉领域的基础架构。 Transformer：由 Google Brain 在 2017 年 提出，用“自注意力机制”替代循环结构，实现了高效的并行训练，成为目前大模型的核心架构。 iGPT（Image GPT）：由 OpenAI 在 2020 年提出，将 GPT 语言建模思想用于图像像素预测，验证了 Transformer 可用于视觉生成任务。 ViT（Vision Transformer）：由 Google Research 在 2020 年提出，将图像分割为小块后输入 Transformer，首次在大规模数据上超越 CNN 的图像识别性能。 Swin Transformer：由微软亚洲研究院刘泽、曹越等人在 2021 年提出，通过“层次化窗口注意力”结构改进 ViT，使 Transformer 能高效处理不同尺度的视觉任务。 DALL·E：由 OpenAI 在 2021 年 发布，将 GPT-3 与图像生成结合，可根据文字生成符合语义的图像。 CLIP：由 OpenAI 在 2021 年提出，通过大规模图文对比学习，实现文本与图像的语义对齐，是后续多模态系统的基础模型之一。 Instruct-GPT：由 OpenAI 在 2022 年 发布，通过基于人类反馈的强化学习（RLHF）让 GPT-3 更好理解指令，是 ChatGPT 产品化的重要前提。 剪辑制作：甜食 本期主播： 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章： https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

  --------  

  2:06:28

  --------

  2:06:28

More Business podcasts

Trending Business podcasts

About 晚点聊 LateTalk