Article Share

英雄主义已经过去:训过两年大模型,他给了 5 个反共识判断

在 Anthropic 和 Gemini 训过 Claude 3.7 / 4.5 和 Gemini 的姚舜禹,把硅谷的神话与共识一起拆掉

发布于 10 分钟阅读
目录
阅读模式

问这篇文章

只基于本文回答

一句话总结:训过 Claude 3.7、4.5 和 Gemini 的姚舜禹给出 5 个反共识判断——Scaling Law 没到头、撞墙多半是有 bug、AI 不需要脑子需要的是「靠谱、细、负责」、英雄主义已经过去、字节是被严重低估的公司。一句话:AI 是集体主义工程,不是天才英雄秀。


开场

硅谷有两个姚舜禹。一个本科是清华姚班、普林博士,在 OpenAI 后跳腾讯做首席 AI 科学家。这篇文章的主角是另一个——本科清华基科班学物理、斯坦福理论物理博士、Anthropic 待一年训了 Claude 3.7,然后 2024 年 9 月跳去 Google DeepMind,参与 Claude 4.5 后续和 Gemini 训练。

他没有”出圈”——你在中文媒体上几乎找不到他的长访谈。但他参与了过去 18 个月里两条最重要的前沿模型管线。这种一线工程师视角的判断,往往是最值钱的。

行业里的”共识”大多是从二手转述里凝固出来的——Scaling Law 到头了、AI 拼天才、字节追不上 OpenAI。这些共识对吗?

答案是一句话:大部分共识都错了。AI 是集体主义工程不是英雄秀;Scaling Law 没到头;撞墙的人多半是有 bug;AI 不需要脑子需要靠谱;字节被严重低估。下面分五层展开。


金字塔总览


一、Scaling Law 没到头:撞墙的人多半是工作里有 bug

几乎整个 2025 年,“预训练 Scaling Law 已经到头”是行业共识。OpenAI 公开转向后训练强化学习作为”第二个金矿”。姚舜禹反共识地判断——没到头

1.1 一线观察

时间他的观察
加入 Anthropic 初期他也以为 party is over,预训练快榨干了
在 Anthropic 一年发现预训练实际上还在变强
现在 Google DeepMind预训练在过去几个月仍在变强,未来 4 个月也没看到到头的迹象

1.2 觉得”到头了”通常是三种原因之一

原因含义
规律本身到头Scaling Law 适用范围确实有边界(不能无穷外推)
某个条件撞墙比如认为数据已经耗尽
工作里有 bug自己没发现的 bug 让规律失效

“我的猜测是——绝大多数撞到墙的人是第三种。“

1.3 修 bug 比加技巧重要

bug 的常见类型

  • Scaling Law 实验的科学假设没选对(如 token horizon、数据来源)
  • 纯粹的代码 bug

“在业界这其实并不惊奇——很多时候修好一个 bug,带来的进展远大于一些很神奇的技巧。“

1.4 信念 + 系统性 ablation 才能识别真假撞墙

错误反应正确反应
看到曲线不对:撞墙了,放弃设计 ablation 实验系统性排除每个变量
跟着行业共识改方向把每个想象中的因素都测一下是不是真因素
加各种 trick找 bug,修 bug

金句“到头了”是信念问题不是技术问题——你认为它能解就能解,认为不能解就到头了。修 bug 比加技巧值钱十倍。


二、算力和数据是主驱动,算法只在相变点关键

第二个反共识——大部分人以为算法是模型能力的关键,姚舜禹给的排序是:数据 + 算力 > 算法

2.1 三个驱动力的真实地位

驱动力在不同阶段的作用
算力主驱动,且和数据是强关联的(算力上去就需要更多数据)
数据主驱动,已经从单纯文本拓展到「环境」(含 RL 用的 verifier)
算法相变性——在某一个突破点之前,算法决定能不能做;突破之后算法只是平滑提升效率

2.2 Transformer 之后,算法的作用变小了

  • Transformer 之前——完全不知道怎么 scale,算法是天花板
  • Transformer 之后——慢慢平滑提升对算力、数据的利用效率

“在现在比较清晰的 paradigm(预训练 / 后训练)下,主要驱动力其实是算力和数据。“

2.3 现在的瓶颈不在技术,在「教什么」

模型已经像一个非常聪明的小孩——人类作为老师,不知道下一个要教什么

  • 我们知道有 chatbot 可以聊天
  • 我们知道有 coding agent 可以写代码
  • 下一个能教的有用任务是什么?——这才是当下真正的瓶颈

金句算法只在相变点关键——日常竞争里,算力 + 数据是 90% 的胜负手。


三、AI 不需要脑子——它需要靠谱、细、对自己做的事负责

姚舜禹本科清华、斯坦福理论物理博士,按”硅谷神话”标准是天才。但他亲口说——

“AI 这事本来也不太需要脑子。真的不太需要脑子。“

3.1 那需要什么?

能力含义
靠谱说能做到就做到,不画饼
做事细每个细节都到位,不留死角
对自己做的事负责任不只是产出代码,要为整体效果负责

“都是一些本科生就能干的活。“

3.2 为什么这个 insight 重要——AI 训练是系统工程

姚舜禹举了一个具体例子——很多人问 Anthropic / Gemini 怎么训模型,他不愿意答,因为答了也是误导:

算法看起来一样的细节,在不同公司效果完全不同原因
一个公司用某个 trick 能稳定训练因为他们 infra 让 sampler 和 trainer 差异很小
同样的 trick 在另一个公司效果差因为他们的 infra 差异大,重心要放在控制这个差异上

“现代 AI 训练是一个大系统——你要了解的是这个系统的方方面面,才能有全局认识。问 tips 是没用的。“

3.3 优秀研究员 ≠ 聪明

错误的 AI 研究员画像真实的 AI 研究员要求
算法天才,独自做出突破能对整个生产环境负责
关注单个 metric 提升同时关注训练 + 部署 + 服务三个 metric
个人英雄主义”拉不下脸”不替公司负责
在 Slack 上讲大道理把想法变成一个个可实现的小步骤

金句AI 不需要脑子,需要靠谱、细、对全局负责——本科生就能干,但要有这套素质。


四、英雄主义已经过去——这是集体主义工程

第四个反共识,也是访谈最锋利的一刀。

4.1 他在 AI 行业没有偶像

“我感觉我来这个行业的时候,个人英雄主义时代已经过去了。所以也没有什么英雄。有时候你甚至觉得旧时代英雄有点蠢。”

他在物理博士时是有偶像的——他的年轻 PI 让他觉得”比我聪明太多了,有他在这个领域也没我的事”。这是他最终跑出物理学去 AI 的真实原因——不是降维打击,是认怂转赛道

“AI 这事本来也不需要脑子嘛。“

4.2 早期 Anthropic 是什么样的”集体主义”

早期 Anthropic(他亲历的)后期变化
像小作坊,大家都是朋友人翻倍,文化稀释
每个人知道别人在干嘛部门间隔阂出现
没人花时间做个人宣传有人在 Slack 上花大量时间讲大道理
紧迫感强,所有时间在解决具体问题开始出现”无用的活”

idea is cheap——很多想法所有人都知道,难的是把它变成一个个可实现的小步骤,做出来。“

4.3 公司治理:自上而下 vs 自下而上

早期共识实际经验
自下而上是创新必要条件完全自下而上会乱(早期 Google 就是这样:大家不知道做这件事有啥用)
自上而下扼杀创新适度自上而下反而让创新落地

姚舜禹的判断:好的组织最终是技术 leader 的问题。优秀的 leader 要有两个特质:

  1. 能救火——遇到困难能自己下场带人解决,不光嘴上说
  2. 能容人——理解为什么别人做的事虽然不是自己的方向,但很重要

4.4 「拉不下脸」的责任感

记者问他对全局负责的自觉性从哪里来:

“我可能就是拉不下脸——你对一个公司负责是你跟它的契约的一部分。这么做是没有原因的。”

简单、毫无矫饰,但比所有讲”使命愿景价值观”的话都到位。

金句英雄主义已经过去——AI 这事真的不需要脑子,需要的是一群拉不下脸不为公司负责的人组成集体。


五、中美 AI 格局:to B 美国强,C 端字节被严重低估

最后一个反共识,关于中美。

5.1 美国擅长「直接收费」,中国擅长「间接变现」

商业模式美国中国
怎么挣钱解一个扣子,成本 150,卖你 200,挣 50你免费看视频——偷偷加广告、偷偷做直播、偷偷做电商
复杂度简单直接回路长、复杂、间接
能力沉淀把单点技术做到极致设计让你离不开的复杂产品,又让你感觉不到他在挣你的钱

5.2 美国的 to B 市场太大,挤掉了 C 端基因

  • 美国 C 端长期只有 ChatGPT 一家,“也没啥油水”
  • 大家都把重心放在 enterprise / 效率软件
  • 过去 10 年美国所有正反馈都来自 to B
  • 结果:美国做 C 端产品的人能力比中国差远了

5.3 字节是被严重低估的公司

维度现状
市值角度被严重低估
C 端能力”在消费者市场这一端,没有哪个公司能和它竞争
美国的认知”肯定都知道字节强,但毕竟它是家中国公司”——所以战略上重视有限
Meta 行为已经在主动从字节挖人

5.4 关于”new lab 潮”

硅谷最近大量从大厂跳出来成立 new lab:

“我的感觉是——绝大多数 new lab 都会死。有少数是真的有好的人,但有些 new lab 我完全不知道他们要干嘛——这俩人其实已经远离这个专业好久了。”

金句美国的钱太好挣,所以反而做不出能让你离不开的 C 端产品——而字节因为在挣钱难的中国长出来,反而有了别人复制不来的”圈一旦转起来谁也插不进去”的能力。


一页速览

层级内容一句话核心
核心结论5 个反共识判断AI 是集体主义工程,不是英雄秀
判断一Scaling Law 没到头撞墙的人多半是有 bug
1.1一线观察预训练仍在变强
1.2撞墙的 3 种原因规律 / 数据 / bug
1.3修 bug比加 trick 重要十倍
判断二算力 + 数据是主驱动算法只在相变点关键
2.1三驱动地位算法已经从天花板变成调味
2.2Transformer 之后算法平滑提升
2.3真正瓶颈不知道下一个该教 AI 什么
判断三AI 不需要脑子要靠谱、细、负责
3.1三特质本科生就能干
3.2系统工程tips 没用,要懂全局
3.3优秀研究员画像对整个生产环境负责
判断四英雄主义已过去集体主义工程
4.1没有偶像旧时代英雄有点蠢
4.2早期 Anthropicidea is cheap,execution 才贵
4.3组织治理自上而下 + 自下而上要平衡
4.4拉不下脸比”使命愿景”更真实的责任感
判断五中美 AI 格局字节被严重低估
5.1商业模式美国直接,中国间接
5.2to B vs C美国 C 端基因被磨没了
5.3字节C 端无人能竞争
5.4new lab 潮绝大多数会死

一句话收束

英雄主义已经过去——这事不需要脑子,需要的是一群「拉不下脸不替公司负责」的人,在 Scaling Law 还没到头的赛道里,把每个 bug 修干净。

引用卡片

带走这篇文章的核心观点

可引用观点

《英雄主义已经过去:训过两年大模型,他给了 5 个反共识判断》

核心结论:姚舜禹是斯坦福理论物理博士、Anthropic 和 Google DeepMind 的研究员,亲历 Claude 3.7、4.5 和 Gemini 的训练。他在一个 4 小时访谈里给出 5 个反共识判断:Scaling Law 没到头、撞墙多半是有 bug、AI 不需要脑子要的是靠谱、英雄主义已经过去、字节是被严重低估的公司。

  1. 1 一、Scaling Law 没到头:撞墙的人多半是工作里有 bug
  2. 2 二、算力和数据是主驱动,算法只在相变点关键
  3. 3 三、AI 不需要脑子——它需要靠谱、细、对自己做的事负责

适合转发到飞书、微信、即刻或笔记工具;引用时建议保留作者 kele 与原文链接。

分享这篇
英雄主义已经过去:训过两年大模型,他给了 5 个反共识判断 分享卡片

微信暂不支持网页直接分享——复制链接后到对话里粘贴即可。链接在微信中预览会带上面的卡片缩略图。

同源精读 · 张小珺商业访谈录 全部内容源 →

我精读过这位作者的其他 7 篇——同口味、相邻知识脉络。

相关文章