Situational Awareness 深度导读 · 第 2 章

第 2 章 · 从 AGI 到超级智能:智能爆炸

对应原文 Part II: From AGI to Superintelligence — the Intelligence Explosion。全书赌注最大的一章:如果第 1 章的外推成立,这一章说的是外推之后会发生什么——而"之后"可能只有一年。
能力(log) AGI:自动化 AI 研究员 超级智能 他预计的"约一年" 2024

2.1论点地图:一个被刻意缩小的赌注

Part II 常被当作全文最科幻的一章,但它的论证策略恰恰相反——它靠缩小要求来增强可信度。I. J. Good 在 1965 年就写下过智能爆炸的经典表述,而 Aschenbrenner 的贡献不是重述这个古老命题,而是把它从哲学思辨改写成一道工程排期题。

整章的杠杆点只有一个:

"We don't need to automate everything—just AI research."
中文释义:我们不需要自动化一切——只需要自动化 AI 研究本身。

这句话值得停下来拆。当时对 AGI 影响力最常见的反驳是"机器人学很难""生物实验需要真实世界的手"——也就是说,认知能力不等于经济能力。他没有正面反驳这条,而是把它整个绕开:承认物理世界很难自动化,然后指出通往超级智能的那条路径恰好不经过物理世界。前沿实验室里 AI 研究员的工作——读文献、提想法、写实验、看结果、再来一轮——几乎全部发生在屏幕里。于是"AGI 有多大用"这个宽泛的争论,被替换成了一个窄得多、也可检验得多的问题:模型能不能做 AI 研究员这一份工。整篇文章的可证伪性,就是在这一步被换来的。

之后的推理是纯算术:如果能自动化 AI 研究员,就能同时跑上百万份副本,而且可以用推理效率换串行速度,让它们比人快若干倍;人类几百名研究员每年能推进约 0.5 个 OOM 的算法效率,那么把研究劳动力放大六个数量级,十年的算法进展就有希望压缩进一年;算法进展再反哺模型能力,形成正反馈。落点:AGI 之后到超级智能,可能只隔约一年。

请注意这里发生了一次论证类型的切换。第 1 章是趋势外推——每一步都有历史数据背书;第 2 章是机制推演——它描述的是一个从未发生过的过程。第 1 章的赌注是"直线不弯",第 2 章的赌注是"反馈回路的增益大于阻尼"。两者的证据强度并不相同,但在阅读体验上被同一种自信的语调抹平了。这是导读要替读者标出的第一个接缝。

2.2他自己写下的四个瓶颈

Part II 最值得敬重的地方,是他把反对意见写进了自己的正文,而且写得比多数批评者更具体。他列了四个可能拖慢爆炸的瓶颈:实验算力有限、互补性与长尾(自动化 70% 之后剩下的 30% 变成新瓶颈)、算法进展的固有上限、以及"点子越来越难找"的收益递减。他对前三条给出的回应大同小异——"会拖慢,但不会取消";唯独对第一条,他把话说得很实在:

"A million times more research effort via automated research labor won't mean a million times faster progress, because compute will still be limited—and limited compute for experiments will be the bottleneck."
中文释义:靠自动化把研究劳动放大一百万倍,并不意味着进展快一百万倍——算力仍然有限,而实验算力会成为瓶颈。

这句自我设限在 2026 年回看,是全文命中率最高的判断之一,但兑现的方式和他设想的不太一样。他把算力瓶颈理解为"实验预算不够,所以自动研究员发挥不出全部功力",随后论证自动研究员至少能把同样的算力用得高效 10 倍。现实中的算力瓶颈却往下沉了一层:它不是实验排队的问题,而是变压器交付周期、电网接入排队、数据中心工期这些与智能完全无关的物理事实。换句话说,他成功预见了瓶颈的名字,却低估了瓶颈的性质——他假设算力是可以用聪明去换的资源,而两年的现实说明,有相当一部分算力只能用时间和钢筋水泥去换。第 3 章会把这条线索完整展开。

对账 · 2026
原文主张:算力(尤其是实验算力)将是自动化 AI 研究最重要的瓶颈。
✅ 已验证

这两年里,"算力/电力是硬约束"从一个内行判断变成了整个行业的组织原则:超大规模厂商把资本开支的大头压在供电、冷却与厂房而非芯片本身,IEA 在 2025 年的专题报告中把全球数据中心用电量的 2030 年基准情形定在约 945 TWh(2024 年约为其一半),电网接入与设备交付周期成为公开讨论的常规变量。需要指出的是,他预判对了瓶颈的位置,但把它当成了一个可以靠"更聪明地用算力"缓解的软约束;现实里的约束更硬——它由施工周期和电力系统决定,而这些恰恰是自动化 AI 研究员帮不上忙的部分。

2.3自动化 AI 研究:证据走到了哪一步

要给这一章对账,关键是把"AI 参与研发"和"AI 自动化研发"分开——这两件事在 2026 年的公开话语里经常被混为一谈,而它们之间隔着 Part II 全部的论证。

"参与"这一侧的证据非常厚实。编码 agent 已是前沿实验室的日常基础设施;更有说服力的是 DeepMind 的 AlphaEvolve——它不是写代码给人用,而是发现了人类没找到的算法:把 4×4 矩阵乘法所需的标量乘法从 Strassen 1969 年的 49 次降到 48 次,并为自家训练栈的 FlashAttention kernel 找到了最高约 32.5% 的提速。这是"AI 改进 AI 基础设施"的第一批干净样本,也正是 Part II 描述的反馈回路的第一节。

"自动化"这一侧的证据则要暧昧得多,而且暧昧的方式很有信息量。METR 的 RE-Bench 让前沿模型与 50 多位人类专家在 7 项真实 ML 研究工程任务上同台:在每项任务 2 小时的预算下,最好的 AI agent 得分是人类专家的约 4 倍;但把预算放宽到 8 小时,人类反超;放宽到 32 小时,人类拿到 AI 的约 2 倍。这条交叉曲线几乎是为 Part II 量身定做的检验——它说明当前模型缺的不是研究品味或知识,而是把长时间尺度上的试错组织起来的能力。而"组织长时间尺度的试错"恰恰是 AI 研究员这份工作里最核心、也最难自动化的那部分,即他自己列出的"长尾"瓶颈。

对账 · 2026
原文主张:AI 研究本身可以被自动化,并由此启动强反馈回路。
🟡 部分验证

回路的第一节确实转起来了:AlphaEvolve(2025)自主发现了 56 年来第一个优于 Strassen 的 4×4 矩阵乘法方案,并把 DeepMind 自家训练栈的关键 kernel 提速约三分之一——这是 AI 改进 AI 基础设施的实证。但"自动化 AI 研究员"尚未出现:METR 的 RE-Bench 显示,任务预算越长,人类专家相对模型的优势越大(2 小时 AI 领先约 4 倍,32 小时人类领先约 2 倍),缺口正落在长程规划与试错组织上。行业本身也承认时点未到——OpenAI 与 DeepMind 的负责人在公开表述中把"自动化 AI 研究员"分别指向 2028 年前后与"若干年后",而非 2026。

2.4"约一年":一个尚未开始计时的预测

Part II 最常被引用的数字是"从 AGI 到超级智能可能只需约一年"。给这句话对账,首先要处理一个容易被忽略的技术性问题:这个预测的计时器还没有启动。它的起点是"自动化 AI 研究员就位",而按第 1 章的对账,那个里程碑本身仍是 ⏳ 状态。任何声称这条预言已被证伪的说法,都犯了和它所批评的外推主义同样的错误——把"尚未发生"当成"不会发生"。

不过导读可以做一件更有用的事:检查这两年有没有出现改变该预测条件概率的证据。有两条,方向相反。

削弱侧:2026 年 3 月一篇专门讨论"如何测量 AI 研发自动化"的论文指出,现有的能力基准并不能反映真实世界的自动化程度,并呼吁企业与第三方开始跟踪诸如"AI 自主发起的实验数量与时长""AI 撰写的实验实现占比"这类指标。这句话本身就是一条对账结论:在 Part II 发表将近两年后,我们连衡量它所预言的那个过程的仪表盘都还没造好。一个无法被测量的爆炸,即使正在发生,也无法被及时识别——这对他"我们会看着它发生并来得及应对"的隐含假设是不利的。(2026 年 9 月,Anthropic 与 OpenAI 开始自行公布研发自动化的原型指标,仪表盘算是开了头;但它们是实验室自报、口径不一、尚无第三方核验的数字,见下方对账卡。)

增强侧:算力的绝对规模比他 2024 年的预期更激进。他当时估算 2027 年会有"数千万块 GPU"级别的推理机队;而 Stargate 这类项目在 2025–26 年推进的速度,使这个量级不再显得夸张。如果反馈回路真的启动,可用于跑副本的燃料确实备好了。

对账 · 2026
原文主张:从 AGI 到超级智能可能只需约一年,人类将在这段时间内被远远甩开。
⏳ 尚无法判定(前置条件未满足)

该预测以"自动化 AI 研究员就位"为起点计时,而这一里程碑截至 2026 年 10 月尚未达成:Anthropic 公布的研发自动化指数显示,截至 2026 年 8 月,Claude 在任何被测的 AI 研发子领域都还没有完全自主运行;METR 9 月对 Claude Opus 5.5 的评估认为,该模型不太可能完全自动化 AI 研发。因此计时器未启动,不存在证实或证伪的空间。可判定的是周边条件:算力侧比他预期更充裕;测量侧在 2026 年 3 月仍几乎空白——当时的研究指出,业界缺乏能反映真实研发自动化程度的指标体系,现有能力基准不足以充当预警仪表。此后前沿实验室开始公布原型指标:Anthropic 称,截至 2026 年 8 月,Claude"主导"了其约 26% 的 AI 研发工作;OpenAI 称,8 月中旬其研究部门每个人类工作日对应约 3.1 个 agent 工作日(据其自述,为初步内部测量)。但这些都是实验室自报的数字,口径不一,也未经第三方核验,预警仪表仍然粗糙。这意味着即便爆炸开始,识别它的时间分辨率仍低于他隐含假设的水平。

2.5超级智能的"质变"论,以及它为什么难以对账

本章后半段转向超级智能会是什么样子。他区分了量变(更快、更多、不知疲倦)与质变(在人类无法理解的层面上聪明),并用 AlphaGo 第 37 手这个人尽皆知的例子来锚定后者。最终落在一个视觉化的比喻上:

"We'll be like high-schoolers stuck on Newtonian physics while it's off exploring quantum mechanics."
中文释义:我们会像还困在牛顿力学里的高中生,而它已经跑去探索量子力学了。

这个比喻的修辞效率极高,但作为导读必须指出它在论证上的位置:它是一个不可对账的命题。"质变"按定义无法由处在低层级的观察者来确认——如果我们能验证它,它就还没有超出我们的理解范围。这不是批评他不严谨,而是说明本章存在一条清晰的分界线:2.1–2.4 的内容是工程排期,可以逐年检查;2.5 的内容是关于认知层级的哲学推论,它只能被相信或不被相信。把这两部分混在同一种自信语调里叙述,是 Part II 在传播上极为成功、在认识论上却值得警惕的地方。

顺带一提,这条分界线也解释了后续几章的分裂:凡是建立在 2.1–2.4 之上的政策主张(算力、安保),两年来大多有迹可循;凡是建立在 2.5 之上的主张(超级智能带来决定性军事优势),则至今停留在推演层面。第 6 章会正面处理这个落差。

2.6当时的批评:三种反对及其现状

其一,收益递减。批评者认为,把研究员数量放大六个数量级并不能把进展放大六个数量级,因为好点子会越来越难找。他在文中直接迎战了这一条,理由是研究投入的历史增速远小于自动化带来的跃升幅度,所以"刚好抵消"是一个古怪的刀刃假设。两年后看,这场争论仍未结算——因为放大还没真的发生。但 RE-Bench 的时间曲线提供了一个此前没人预料到的角度:瓶颈可能既不在点子的数量,也不在算力,而在单个 agent 能维持多长的自主工作时间。这是第三种可能性,双方当时都没有把它放在桌面上。

其二,物理实验瓶颈。反对者说,科学进步需要在真实世界里做实验。他的回应是绕开——AI 研究不需要湿实验室。这个回应在"算法研究"这个窄定义上成立,但两年的经验给它加了一个他没预料到的注脚:AI 研究确实不需要试管,却需要变压器、并网许可和施工队。物理世界没有从 AI 研究的路径上消失,它只是从实验室搬到了电网。

其三,组织瓶颈。即使技术上可行,把上百万个 AI 研究员编入一个能产出成果的组织,本身就是没有先例的管理问题。这条批评在 2024 年听起来像是吹毛求疵,在 2026 年却显著升值:实验室在部署编码 agent 时遇到的真实困难,大量集中在评审、归因、责任划分与知识沉淀这些组织性问题上,而非模型能力上。它与前述"长尾"瓶颈实际上是同一件事的两面。

值得记下的是这三条批评的共同结构:它们都不否认反馈回路存在,只争论阻尼有多大。而在一个指数过程里,阻尼大小决定的不是结局,而是留给人类反应的时间——这正是第 4、5 章全部政策主张所依赖的那个变量。

2.7本章记分牌

原文主张裁决
算力(实验算力)是自动化 AI 研究最重要的瓶颈✅ 已验证
AI 研究可被自动化并启动强反馈回路🟡 部分验证
AGI → 超级智能可能只需约一年⏳ 前置未满足

本表与本章 3 张对账卡一一对应;全书总记分牌见第 7 章。

2.8本章术语(入总表)

术语释义
intelligence explosion智能爆炸:AI 改进 AI 所形成的正反馈过程,可能在很短时间内把能力推离人类水平。概念可溯至 I. J. Good(1965)。§2.1
automated AI researcher自动化 AI 研究员:能独立完成"读文献→提假设→跑实验→解读结果"整个循环的系统。本书全部时间表的计时起点。§2.1
recursive self-improvement递归自我改进:系统改进自身或后继版本的能力,是智能爆炸的机制内核。§2.1
takeoff speed起飞速度:从人类水平到远超人类水平所需的时间,决定留给治理与对齐的窗口宽度。§2.4
RE-BenchMETR 的 AI 研发能力评测:让模型与人类专家在真实 ML 研究工程任务上按时间预算同台比较。§2.3