晚点聊 LateTalk

「走进不同团队的成果，创新从来是连续的，不是跳跃的。」

上周五，DeepSeek V4 发布。我们邀请了两位一线 AI 从业者一起详解 DeepSeek V4 的技术实现和创新想法。

如果一句话概括：DeepSeek V4 并没有带来新的“范式变化”，它是继续在 R1 的“测试时扩展”范式下，用一系列组合创新和工程优化，让百万上下文从理论进入实用。

超长上下文上的稳定表现，正是 Agent 和多步复杂任务亟需的能力之一。

本期涉及的诸多技术术语见 Shownotes 末尾注释。

本期节目的图文版也已经发布:详解 DeepSeek V4：Infra 巨鲸 “四连击”，百万上下文走进现实

本期嘉宾

赵晨阳，RadixArk 工程师，SGLang 开源推理框架开发者

刘益枫，UCLA 博士生

本期主播

程曼祺，晚点科技报道负责人

时间线：

体感、对比、消失的成本、DeepSeek 的节奏

03:01 编程能力与“御三家”有差距；不再采用 DeepSeek 自己提出的 MLA

07:44 不再披露训练成本，“用模型能力说话”

09:23 延期推测：四个耦合的新 feature （新注意力+Muon+mHC+FP4）一起上，难度爆炸

12:36 不是范式创新，沿现有范式仍有巨大提升空间

性能与效率

14:32 提出新的能力方向比刷单个 benchmark 重要

16:41 坦诚的内部评测：9% DeepSeek 工程师不会把V4 Pro 作为编程首选

23:03 单 token 推理的计算量和 KV cache 大幅优化，但解决同样问题的 token 消耗更多了

V4 具体进展

28:32 整体思路：极致的稀疏

33:45 混合稀疏注意力：放弃 MLA，SWA滑动窗口+CSA稀疏压缩+HCA稠密压缩，层间预定义分工

39:37 Muon 优化器已成检验工程能力试金石

48:52 mHC：从 Seed 提出 HC 到 mHC；Kimi 的 Attention Residuals

54:24 Infra 两个关键词：TileLang & FP4

01:10:11 多专家训练+蒸馏的后训练

01:13:20 评测危机：benchmark会过时饱和，evaluation是永恒追求，agent评估未共识

更多讨论

01:19:25 近期模型共性：架构趋同（MOE+Muon），优化方向驱动（agent、coding）

01:25:18 美国追新能力、高定价；中国追性价比、工程极限

01:28:00 V4 最有可能被记住的思想：极致压缩+低激活比+低单token成本，成为后续开源模型起点

剪辑：Nick

相关链接：

158期：V4发布前的DeepSeek：人才竞争、组织特点和独特的AGI目标

143期：再聊 Attention：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进

104期：我给线性注意力找“金主”，字节 say No，MiniMax say Yes

103期：用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进

102期：DeepSeek 启动开源周，大模型开源到底在开什么？

附录：术语、概念解释

- 模型架构相关

Token-wise（词元级）改进：优化模型处理单 token 的过程，通常用于提升注意力计算、上下文建模或推理效率。

Layer-wise 的改进：优化模型不同网络层的结构或计算方式，通常用于提升训练稳定性、表达能力或整体计算效率。

MoE：Mixture of Experts 混合专家网络，让不同“专家”子网络处理不同输入，降低单次计算成本。

哈希路由：把 token、样本或请求分配到不同专家、节点或存储位置的方法。V4 在前几层 MoE 用了哈希路由，避免起始层路由塌缩。

Engram：DeepSeek 之前提出的一种带 N-gram 编码器的辅助模块，通过额外编码连续 token 片段，帮助模型利用局部短语级信息。V4 未使用 Engram。

- 注意力相关

MLA：Multi-head Latent Attention，多头潜在注意力，引入潜在表示压缩 KV 信息的注意力机制，能降低显存占用和计算开销。

MQA：Multi-Query Attention，多查询注意力结构，共享 Key/Value，仅保留多头 Query，提升推理效率并减少 KV cache。

线性注意力：通过核函数或近似方法将注意力复杂度从二次降低为线性（一维），是改进原初注意力随上下文长度增加，计算和显存爆炸的方向之一。

稀疏注意力：仅计算部分 token 间的注意力（而非全连接），改进原初注意力问题的另一主流方向。

滑动窗口注意力：限制注意力仅在局部窗口内计算的一种稀疏注意力。

CSA：Compressed Sparse Attention，压缩稀疏注意力。用于长上下文建模的注意力机制。把序列分组压缩成更少的token，query再从中挑选出最相关的部分。V4中的压缩比是4:1。

HCA：Heavily Compressed Attention，高度压缩注意力。同样用于长上下文建模。相比CSA压缩比例更高（128:1），query无需挑选token。

NSA/DSA：V4发布之前，DeepSeek 在年初和 9 月先后提出的两种稀疏注意力方案。

- 优化器相关

AdamW：一种改进的 Adam 优化器，通过解耦权重衰减（weight decay）提升训练稳定性和泛化能力。

Muon：一种面向大模型训练的优化算法，通过改进梯度更新或内存效率来提升训练性能。

Learning Rate：学习率，控制模型参数每次更新步长的超参数，对训练稳定性和收敛速度至关重要。

牛顿-舒尔茨迭代：一种用于矩阵归一化或求逆的数值迭代方法。Muon 作者 Jordan 提到通常使用 5 次迭代，V4 中采用了 10 次迭代。

- 残差相关

HC：Hidden/Highway Connection，一类改进残差连接的信息通路设计，用于增强信息传递或控制梯度流。

mHC：Manifold-Constrained Hyper-Connections 流形约束超连。DeepSeek 在 HC 基础上的改造，解决了 HC 在大规模训练时的数值不稳定问题。mHC 使用了双随机矩阵，即每行和、每列和都等于 1 的矩阵，以约束信息流。

Attention Residuals：注意力残差连接，将注意力模块输出与输入相加，用于稳定训练并保留原始信息。

- Infra 相关

矩阵乘法：深度学习中最核心的基础计算操作（如向量与权重相乘）。

Kernel：算子核，指在底层硬件（如 GPU）上执行的高效计算函数，是深度学习算子的实现基础。比如矩阵乘法就要写 Kernel 去实现。

CUDA：英伟达开发的能使用 GPU 的一层软件系统，也指一套语言，本次访谈语境里指编写 GPU 算子 kernel 的语言。

Triton：由 OpenAI 开源，是对 CUDA 的一层抽象，能更简单的写 Kernel。

TileLang：一种面向 AI 高性能算子的 tile 级 DSL / 编译框架，把矩阵乘法、注意力等张量计算映射到 GPU 等硬件上执行，在 Triton 的易用性和 CUDA 的控制力之间取得了较好的平衡。

FP8、FP4、INT4：低精度数值格式，分别用 8 位、4 位浮点和 4 位整数表示模型中的权重或中间数据，用于降低显存和带宽压力、提升训练或推理效率。

FP4 比 FP8 更省显存和带宽，又比 INT4 更保留浮点动态范围，因此更适合复杂训练/采样链路，但收益取决于硬件、缩放策略和 kernel 实现。V4 在 1.6T 参数规模上实现 FP4 训练是个不小的挑战。

小红书@曼祺_火柴Q即刻@曼祺_火柴Q

☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。

这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

出海对于中国企业来说并不新鲜，无论是早年的华为、中兴，还是大疆、影石、拓竹这样的消费硬件公司，再到 Tiktok、腾讯游戏、Temu 等互联网公司，成功的例子有非常多。但之所以我们说它是一个新的话题，是因为我们来到这个 AI 的时代，不仅看到大批的 AI 创业公司正在积极的向海外拓展，也见证着 AI 改造他们出海的路径、方式、增长、营销。

过去一年，我们也看到了很多借助 AI 营销翻车的案例，比如麦当劳在荷兰上线的一支几乎是由 AI 生成的节日广告，上线后就迅速遭到了大量的吐槽：不仅仅是画面看起来比较粗糙，更在于这个广告它传达出来的气质被认为是廉价的、偷懒的，没有什么诚意。

今天的播客，我们与飞书深诺 Meetsocial 的创始人兼 CEO 沈晨岗先生一起聊了聊，AI 在今天究竟是如何改变中国企业出海模式的？中国与美国的 AI 营销生态究竟有什么区别？在 AI 时代到来以后，企业需要建立起哪些新的能力，才能在营销战中脱颖而出？

本期节目由飞书深诺特别支持播出

本期嘉宾

沈晨岗，飞书深诺集团创始人兼 CEO

本期主播

高洪浩，晚点 latepost 主笔

时间线：

Part 1 中国企业出海变迁史

04:17 中国企业出海的三个阶段：产品、公司、品牌

07:43 早年中国出海企业没有认识到营销的力量

09:45 2025 年开始中国企业出海营销范式发生变化

12:32 转型成功的出海企业案例：安克

16:18 衡量企业出海能力的模型指标：D-MES

Part 2 AI 时代下，中国企业出海的新变化

22:47 出海营销领域在 AI 上的共识与非共识

25:29 AI 的使用应该与企业的商业化目标相匹配

30:38 过去三年，AI 如何改变出海营销

Part 3 中国与美国的 AI 营销

34:07 硅谷观察记：中美 AI 营销的差异

38:30 美国营销公司的历史包袱导致 AI 难落地

Part 4 AI 在未来将如何改变出海营销

42:16 Agent 时代的出海营销模式

48:42 案例：Agent 变革短剧投流

51:46 AI 时代，创意和审美变得更重要

57:07 出海服务商如何适应 AI 时代

01:01:30 三年和五年后，AI 将如何改变出海营销

☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。

这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

「不做人形机器人的具身智能创业。」

本期嘉宾是原力灵机的联合创始人和 CEO 唐文斌。

2011 年，他和两位清华同学，印奇、杨沐一起创立旷视，这是中国最早的 AI 创业公司。比 DeepMind 晚一年。

2025 年初，唐文斌成立原力灵机，开始具身智能的新创业。

在本科到研究生时，他做过七年中国信息奥赛国家队的总教练，认识了大量奥赛 “小天才”，其中不少人之后加入了旷视，现在又在原力灵机和文斌一起创业。

本期节目也有视频版，可在小红书、B 站、抖音、视频号平台关注「晚点聊 LateTalk」收看。

本期节目的图文版也已经发布:对话原力灵机唐文斌：当中国最早的 AI 创业者做具身，他选择先不做人形

这期我们聊了竞赛往事、旷视的创业复盘和原力灵机的这 1 年：这是一家不做人形机器人的具身智能公司。也是一家会直接参与多模态基模预训练的公司。

这两件事都是非常规的少数派选择。

原力灵机会给中国具身市场带来哪些不同？请听完整节目吧。

本期嘉宾

唐文斌，原力灵机联合创始人 & CEO

本期主播

程曼祺，晚点科技报道负责人

剪辑：杨

时间线：

竞赛、姚班、IOI 国家队总教练：解题的本质是优化，出题比难题更难

01:49 同时参与三项奥赛：信息奥赛的乐趣是解法不唯一

05:50 本科继续 TopCoder ：Challenge 机制下，一次干掉 19 个队

08:29 七年 IOI 国家队教练：出题比做题难

10:31 唐杰的第一个研究生，与印奇相约创业

旷视创业：从体感游戏到 AI 技术平台

15:30 以 CV 技术做体感游戏，登上 App Store 免费榜前三

21:56 Face++ 开放平台，技术驱动 vs 产品驱动的两种创业

24:45 高中生范浩强成为旷视 6 号员工，“强进（周而进）组合” 夺得 ICCV 人脸识别全球冠军

30:19 AI to B 三个总结：价值可量化、不占客户太高成本、避免项目陷阱

十年前的智能机器人

34:31 调度系统才是提效核心，5 轮竞标拿下优衣库上海大仓

41:08 从差点搞砸到见到柳井正，拿下优衣库全球订单

从旷视机器人到原力灵机：参与预训练、不做人形机器人

49:21 从范浩强到张祥雨：旷视的一些 “老人” 为何不散？

53:37 再看「天才策略」：大牛口头禅是 “这不本质”，而影响客户体验的所有东西都本质

01:00:38 具身原生：参与 VLM 预训练，一开始就加入机器人数据

01:11:01 只有具身公司能做的事

01:23:34 不做人形机器人，用模块化组合避免 overkill 或 underkill

01:27:14 RoboChallenge 和 Dexbotic，为何创业公司要开源 Infra?

01:39:39 具身行业会先分散再集中，幸存的个位数公司多数会是中国公司

01:46:34 为了低谷的绸缪：备足干粮、专注投入相信的事

01:55:33 曾做过太多加法，发现 A+B+C≈max(A,B,C)

02:03:50 创业 15 年：感谢一波又一波浪潮，依旧兴奋

02:04:51 真正的通用智能机器人，“这值得投入 lifetime”

02:06:14 连点成线

相关链接：

157 期：具身季报 26Q1：宇树招股书、人形再思考、英伟达世界模型、高自由度灵巧手

155 期：贾鹏创立至简后的首次访谈：从英伟达到理想，具身智能的六边形战士

小红书@曼祺_火柴Q即刻@曼祺_火柴Q

☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。

这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

「杭州六小龙开始上市了。」

4 月 17 日上午，群核科技登陆港股，成为 “杭州六小龙” 中第一家上市的企业。我们在第一时间专访了群核董事长黄晓煌。

2011 年黄晓煌从英伟达回国，和陈航、朱皓创立群核，当时科技创业还不是主流，英伟达自己也在低谷期。

过去这 15 年，黄晓煌说，他们经历过的 90% 的明星科技企业都消失了或变得默默无闻，而群核一直存在，业务还在增长，做出了中国市占率第一的在线设计软件酷家乐，历经与互联网巨头的竞争而幸存，现在又在 AI 热潮中投入空间智能。黄晓煌说： 活下来比活得亮眼重要。

如果想了解更加 “穷人版” 的 AI 创业故事，或者群核上市后的潜力如何，听听创始人怎么说吧。

本期播客也有视频版，可在小红书、抖音、B站、视频号，搜索《晚点聊》观看。

本期节目的图文版也已经发布:群核 IPO 后与黄晓煌聊这 15 年：被嫌弃的 GPU、冠军酷家乐、空间智能、六小龙

本期嘉宾

黄晓煌，群核科技联合创始人 & 董事长

本期主播

程曼祺，晚点科技报道负责人

时间线：

从 GPU 上云到家装设计软件酷家乐

01:14 2011 年回国创业，在英伟达工作过是 “减分” 的

06:54 酷家乐的诞生：13 年上线，14 年爆发，15 年赚钱

10:53 群核底层是 GPU，提前进入 “token 经济”，也跑不通广告模式

14:37 遭遇巨头竞争，更看清什么是壁垒：单纯的算法是纸老虎

从 “怀疑技术自嗨" 到投入 AI

29:48 2018 年注意到 AI 机会，但一度怀疑自嗨了

38:53 2021 年赴美上市戛然而止，山峰到谷底

40:33 2023 用 Copilot 写代码，意识到 SaaS 要变天→两条路的抉择：自己训练空间模型 vs 为大模型做配套

50:16 复盘错过：2018 年是一个做具身硬件的黄金时期

空间智能

52:10 空间智能是底层能力，不是新业务

54:27 群核的 bet：3D 路线，而非视频生成

01:00:00 欧美具身企业喜欢合成、仿真数据，国内普遍倾向真实数据

01:02:52 两百家具身智能公司不算多，各种设备都会需要智能

01:08:53 从纵到横：英伟达的启发

我创业经历的 90% 明星企业都消失了

01:12:46 先活下来，再选最大的机会

01:05:07 六小龙之后，反对的声音一下子变少了

01:21:25 现在对自己的定位：科研 leader

01:24:10 最痛苦的部分总是跟人相关

01:32:11 自由女神像下的对话，“我不是这么算的”

01:34:15 把公司带向空间智能，一半收入来自空间智能

本期剪辑：杨建宇

相关链接：

157 期：具身季报26Q1：宇树招股书、人形再思考、英伟达世界模型、高自由度灵巧手

图文版：《具身季报 26Q1：宇树招股书、人形再思考、英伟达世界模型、高自由度灵巧手》

155 期：贾鹏创立至简后的首次访谈：从英伟达到理想，具身智能的六边形战士

图文版：《至简贾鹏：最快具身独角兽半年融资 20 亿，做 “六边形战士” 才能活》

152 期：访谈千寻创始人韩峰涛：20 亿新融资、具身模型淘汰赛、落地非共识

图文版：《独家专访千寻创始人：20 亿新融资、具身模型淘汰赛、落地非共识》

149 期：具身模型哪家强？与范浩强、高阳聊具身模型的测评、RoboChallenge，26 年具身展望

148 期：访谈它石创始人陈亦伦：具身的三道曙光和第一道关卡

图文版：《陈亦伦和李震宇创立的具身公司它石智航，不做 VLA、不仿真，不走主流路线》

65 期：信仰充值的威力：与逐际动力谌骅聊聊 GTC 和人形机器人新进展 | AI 大爆炸

小红书@曼祺_火柴Q即刻@曼祺_火柴Q

☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。

这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

「马斯克不仅要成为太空经济参与者，也想成为规则制定方。」

这期节目邀请了 Fusion Fund 的创始合伙人张璐，她是 SpaceX 的投资人，而马斯克刚刚在 3 月底发布了一个大计划——Terafab，要联合特斯拉、SpaceX 和 xAI，自建史上最大芯片厂，掌握从设计到制造到部署应用的全栈产能。

其中最科幻的部分，是马斯克希望把 Terafab 80% 的算力部署到太空，建太空数据中心。

Terafab 的目标年产耗电量是惊人的 1TW，是目前全球 AI 算力年耗电量（40~50 GW，1 GW 是 100 万度电，即 100 万 kW）的约 20 倍。

从马斯克的雄心壮志出发，本期聊了太空经济的创业机会和 AI 基础设施领域的变化与机会机会，尤其是英伟达在 GTC 上展现的最新规划。

本期节目的图文版也已经发布:马斯克 Terafab 太空算力、英伟达重拾 CPU，与 Fusion Fund 张璐聊 AI 算力新趋势 | 晚点播客

本期嘉宾

张璐，Fusion Fund 创始合伙人

本期主播

程曼祺，晚点科技报道负责人

时间线：

Terafab：1 TW 的超级算力计划

02:29 Terafab 的多重驱动力： 需求、机器人原生、SpaceX 上市、更少监管

06:46 对地服务有延迟，但太空应用本身也需要算力

17:57 马斯克的带动效应： 太空算力相关创业机会

AI 算力层与 Infra 层新趋势

22:48 英伟达 GTC 发布： 统一平台，异构芯片

30:00 LPU 和 CPU 背后： 是推理（使用模型）和 Agent 需求提升

41:09 xAI 动荡： 招人诚、开人快，“马斯克是一个迷人的暴君”

45:13 Google TPU，足以挑战英伟达 GPU 吗？

企业级 AI

48:54 掌握预算的大企业 CIO/CTO 在想什么？

52:15 看好医疗行业、金融行业 AI 应用

55:14 大企业收购 AI 初创企业带来退出，又催生更多连续创业者

01:02:13 连点成线

剪辑：甜食

相关链接：

115 期：华为发布超节点，如何搅动 AI 算力市场？与魔形智能徐凌杰聊芯片层新变化

小红书@曼祺_火柴Q即刻@曼祺_火柴Q

☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。

这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：