本文承重论断经 44 组 × 3 票对抗验证,验证员被要求「尽力反驳」。其中一条本文原定的核心结论被判死,已替换——附在文末。所有数字截至 2026 年 8 月。
2024 年 11 月起,「AI 撞墙了」成了这个行业最热的争论。两年过去,双方都还在原地。
本文最想说的第一件事是:这场争论从头到尾没给「墙」下过一个能验证的定义。而一旦你试着补上,会发现双方拿出来的东西,没有一样是冲着它去的。
先把一个最大的误会挪开。
「投入翻倍、回报变少」这件事,不是 2024 年的新发现,它是缩放定律这个公式本身的意思。2020 年那篇奠基论文里就写了一句大白话:参数翻一倍,损失只降 5%。
也就是说,任何人在 2024 年说「scaling 的回报在递减」,如果指的是这个,那他说的是一个五年前就印在论文里的算术,而不是一个新观测。
那么「墙」如果要成为一句能被验证或推翻的话,只剩两种可能:
一是定律失效了——投入照加,但效果不再落在公式预测的位置上。
二是定律还灵,但价钱付不起了——每再往下压一点点,要烧的电和钱已经超出任何人愿意支付的范围。
这两件事需要完全不同的证据。而本文的结论是:第一种既没有证据,也没办法验证;第二种正在发生,但卡住它的不是收益变少,是电和混凝土。
先说结论:截至 2026 年 8 月,找不到任何一份公开研究,能显示前沿模型的实测效果偏离了公式预测的那条线。
这是专门去找过的——查了各种角度,包括 2025 到 2026 年所有声称缩放定律出问题的论文。唯一相关的新研究结论还是反的:它发现在参数调好的情况下,不同规模的曲线反而重合得更整齐。
但比「找不到」更要紧的是第二层:这件事根本没法查。
理由有三条,每条单独都够致命。
第一,前沿模型有多少参数、用了多少数据,全都不公开。这条规矩是 GPT-4 技术报告立下的,原话是:考虑到竞争格局和安全影响,本报告不含关于架构(包括模型规模)、硬件、训练算力、数据集构建、训练方法的任何进一步细节。此后成了行业惯例。
第二,能用来对比的那个核心指标更不公开。而且这个指标换一套语料、换一种切词方式就没法直接比——两个模型报出来的数字如果不是在同一套条件下测的,相减没有意义。
第三,现有的正面证据——也就是「公式还灵」——全部是厂商自己说的,而且是在自家私有指标上说的。OpenAI 说它用少了一万倍算力的小模型准确预测了 GPT-4 的表现,但那个指标测在「我们的内部代码库」上,配图连刻度都没有。Meta 关于 Llama 3 的说法也是自述。
所以第一种墙现在的处境是:说有墙的人拿不出实测,说没墙的人拿出的是自家没刻度的图。这不是证据不够,是证据被扣住了。
要说清楚的是,这不等于「墙不存在」。它等于:在现在这个披露习惯下,这个问题没法公开回答。谁往任何一个方向下断言,都是在超出证据说话。
既然实测这条路走不通,双方实际引用的是什么?把撞墙论的起点一条条送回原文,结果值得记下来。
起点一:两篇匿名信源的报道。 2024 年 11 月 9 日,The Information 援引测试过 OpenAI 新模型 Orion 的内部员工称,这个模型的表现确实超过了前代,但提升幅度远小于 GPT-3 到 GPT-4 那一跃。前半句那个让步经常在转述里消失,删掉它就读成了「没进步」。四天后 Bloomberg 报道三家公司同时遇阻。
这里有一个容易被忽略的点:Bloomberg 的核心论证其实是算账,不是说做不到——原文写的是,即便有温和的提升,也可能不足以证明其巨额成本的合理性。那是第二种墙,不是第一种。
起点二:一句记者写的话。 这场争论里被引用最多的「撞墙实证」,是 Ilya Sutskever 说预训练的效果已经「进入平台期」。
逐字核对路透原文之后,结论是:这不是他说的。 那句话全句没有引号,是记者的转述,「平台期」是记者的用词。
同一篇报道里,他真正打引号的原话只有两句。一句是「2010 年代是 scaling 的时代,如今我们重新回到了惊奇与发现的时代」。另一句是——方向请注意——「把对的东西 scale,比以往任何时候都更重要。」
后面这句是支持 scaling 的。他说的是要换 scaling 的对象,不是说 scaling 不灵了。
而且他当时已经离开 OpenAI 创办了新公司,正在为一条不靠预训练的路线融资,还在同一篇报道里拒绝透露自己在做什么。
起点三:一条四个词的推文。 反驳来得很快,但同样单薄。2024 年 11 月中,Sam Altman 发了一条全文只有四个词的帖子:「there is no wall」(没有墙)。没有链接、没有点名、没有任何论据。他发帖时,OpenAI 距离那轮 66 亿美元、估值 1570 亿的融资只有六周。
十一个半小时后,谷歌 DeepMind 的 Oriol Vinyals 发了「什么墙?」——但那不是回复 Altman,是挂在他自家模型当天登顶排行榜的战报上。
所以这场争论的两个起点,一边是匿名内测口径的报道,一边是利益相关方的三四个词。双方都没有拿出测量。
顺手清理两条流传了两年的说法:
「Orion 只比 GPT-4 好 20%」——原报道里没有这句话。 可查到的版本是:Orion 在完成约 20% 训练时就达到了 GPT-4 的水平。那是训练进度,不是提升幅度,而且它原本是用来说明「收益来得早、后面追不上」的,方向正好相反。
「巨型模型的时代结束了」——不是 Altman 的原话,也不是 2024 年说的。一手是 2023 年 4 月他在 MIT 的发言,而那句流传的短语是杂志的标题。时间早了一年半。
把各方口中的「墙」摊开,会发现它们说的根本不是一件事,有几堵之间还互相矛盾。
第一堵,数据墙。 这是 Ilya 的墙。2024 年 12 月他在一场颁奖演讲上说「我们所知的预训练必将终结」,但理由必须一起听:「算力还在通过更好的硬件、更好的算法、更大的集群持续增长,而数据没有在增长,因为我们只有一个互联网。」他还说数据是 AI 的化石燃料,已经到达峰值。
他的幻灯片把这个论证画得清清楚楚:左边一栏「算力在增长」,右边一栏「数据没有在增长」。他说的是一味原料用完了,不是配方算错了——他在同一张片子上明说算力仍在增长。同场他还给了三条出路:智能体、合成数据、推理时算力。
把这场演讲引成「缩放定律失效」的证据,是把「没油了」读成了「发动机坏了」。
第二堵,架构墙。 这是 Yann LeCun 的墙:他认为大语言模型这条路本身走不到人类水平的智能,并以此为核心创办了新公司。注意他否定的是路线,不是规模——这堵墙和 Ilya 那堵是不兼容的:如果路本来就错,数据够不够就不是关键了。
第三堵,效果递减。 这是那两篇报道里的墙。它最接近前面说的「第一种」,但支撑它的是匿名内测评价,不是曲线。
第四堵,算力增速放缓。 这堵最容易被引错,因为它来自一家明确不站撞墙论的研究机构。Epoch AI 确实预测算力扩张会放缓——但机制是东西造不出来那么快:租 GPU 几乎不用等,买 GPU 约半年,建数据中心一到两年,建超大数据中心或配套电厂两到三年,从零建一座先进芯片厂四到五年。他们的结论是,算力规模每再往上翻十倍,交付周期就要多加大约一年。
这篇报告全文没有任何一处说「同样的算力买到的能力变少了」。拿它去支持「收益递减」,恰好读反了。
四堵墙被同一个词收进去之后,这场争论就不可能吵出结果:每一方都在回应对方没说过的话。
涨了。但读这条曲线要格外小心,因为几乎每一格都是厂商自己报的。
拿业内最常引的编程基准 SWE-bench 来说:2024 年底一线卡在 49% 左右,2025 年 2 月到 62%,8 月到 75%,11 月到 81%(不开思考、五次取平均的配置),到 2026 年厂商自报已经到 96%。
三个问题必须说:
其一,那个「49% 一线」是把不同厂商的数字凑在一张图上的巧合,不是同一套装置下的测量。同一个模型,换一套外围工具,成绩能差 22 个百分点——这是 OpenAI 自家系统卡里的数据。
其二,「首个突破 80%」这个说法不成立:Anthropic 早在半年前就报过 80.2%,只是用了更费算力的配置。
其三,也是最要紧的:独立复测的数字系统性更低。Epoch AI 用统一工具、同一批题跑下来,厂商报 96% 的那一档,独立测到的历史最高只有 83.5%。整条曲线没有任何一格被独立复现到厂商所报的水平。
专门为了抗饱和设计的题目,也在被快速攻克。 ARC-AGI-2 在 2025 年 3 月发布时,纯语言模型得 0 分,最强的推理系统也只有个位数。到 2026 年 8 月,榜首已经 92.5%——人类是 100%。十七个月,从个位数到九成。
但同一家机构 2026 年 3 月出了新一代题目,发布当天的结论是:「人类 100 分,前沿 AI 0.51 分。」全部打回近零。这个状态也没维持住,到 8 月已经有模型做到 30%。
这里有一条比「撞墙」更精确的反向证据。 另一套号称「人类最后的考试」的题库,论文里预测模型在 2025 年底前有可能超过 50 分。到 2026 年 8 月,不带工具的最高分仍然是 46.44——跨过 50 分这件事,比出题人自己的预期晚了半年多。 这是全文最接近「进度不及预期」的硬证据,而且它来自看多那一方自己的预测。
唯一一把不由厂商掌握的尺子是 METR 的「时间视界」:同一个任务,人做要多久,而 AI 能以一半的概率做完。它测出的进步是指数级的,倍增期约七个月。2026 年 1 月换了新版尺子后,2023 年以来的倍增期从 165 天缩到 131 天,METR 说这意味着「进步比原先估计的快 20%」。
但这个「快 20%」只属于 2023 年之后那一段。把全部数据放在一起,新旧两版算出来的倍增期一模一样,都是 196 天。
上一节每一条曲线都建在基准题上。而这两年里,基准作为测量工具的可靠性,掉得比能力涨得还快。
同一个名字,可能是两个东西。 2024 年 12 月,ARC Prize 公布 o3 在其题库上拿到 75.7%,把算力放大约 172 倍后拿到 87.5%。OpenAI 同时告知,他们测的这个 o3 用了该题库公开训练集的 75% 训练过。
2025 年 4 月,同一家机构复测正式发布的 o3:41% 到 53%。OpenAI 确认,发布版和当初测的那个不是同一个模型,而且当初那个算力档在产品里根本用不到。
发布会上的 87.5%,和用户能买到的 41%,不是一个东西。
成本数字可以被改三次,方向还会掉头。 那次评测的成本,发布当天高算力档干脆是空的,注明「定价待定」。2025 年春,ARC 先按一种价目重算,高算力档一度被估到每题约 3.44 万美元(这个数出自 ARC Prize 的 Mike Knoop,经媒体转引)。2025 年 12 月按另一种价目重算,又降到每题 4,560 美元。所以流传的「4,560 被上修到三万」把顺序说反了——4,560 是最后一次下修的结果。
出资方可以拥有题目。 有一套高难度数学题库,2025 年 1 月其维护方承认:核心的 300 道题是 OpenAI 出资委托做的,OpenAI 拥有这些题目的所有权,并且能看到题面和答案(保留集除外)——而声明发布时,那个保留集还在敲定中。也就是说,几周前 OpenAI 宣布自家模型在这套题上超过 25% 的时候,那个它看不到答案的保留集还不存在。至于「不用于训练」,只是一个口头协议。
后来独立复测发布版模型,得到约 10%。但这不是干净的打脸:测的不是同一个模型,也不是同一份题,而且这个 10% 后来被上修到了 18.7%。
真正的教训不是「厂商谎报」,而是:出资方拥有题目、评测口径可变、怎么问决定分数——三件事叠在一起,单个基准数字几乎不具备独立仲裁的能力。
基准有寿命。 2026 年一项系统研究考察了 60 个基准,发现将近一半已经饱和到分不出模型高下。而被证伪的那个直觉更有意思:把题目藏起来并不管用——私有题库并不比公开题库更抗饱和。
最后一个信号来自厂商自己。 到 2026 年,Anthropic 的两次旗舰发布已经完全不把那个编程基准放在头条位置了,换成了别的题;而且它自己披露,内部的记忆筛查会标出该基准里的一部分题目。当被考的人开始换自己的考卷,那条从 49% 到 96% 的曲线就更需要小心地读。
Ilya 那堵墙是四堵里最具体的,也是唯一有定量研究的。它现在的状态是:没撞上,也没消失,而是被一系列办法推后了,每种办法都有自己的边界。
存量还剩多少? 一项被广泛引用的研究在 2022 年预测高质量语言数据「很可能在 2026 年前」用完,2024 年的修订版改成了:按当前趋势,模型会在 2026 到 2032 年间训练到与公开人类文本总量相当的规模。
配套估算给的量级是约 300 万亿个词元——但必须带上原文的区间:100 万亿到 1000 万亿,整整差一个数量级。
还有个语义要澄清:这里说的「用完」,意思是训练用量追上了存量,不是数据被物理消耗掉了。
第一种办法:重复用。 一项研究测得,在算力固定的条件下,同一批数据重复训练最多 4 遍,效果几乎不比用全新数据差。但同一段的下半句同样重要:再往下重复,继续加算力的价值最终归零。 这是全文仅有的两条经三票全票原样通过的论断之一。
第二种办法:让模型自己造数据。 这里的坑最多。
微软的 phi-4 用了 40% 的合成数据,而且确实在两项测试上压过了给它造数据的那个更强的模型。但同一张表往右看:在一项考事实记忆的测试上,phi-4 得 3.0 分,而给它当老师的模型得 39.4 分;另外四项也全都落后。七项里赢两项,而输得最难看的恰好是事实记忆——真实语料买来的正是这个。
那个被反复引用的「98% 都是合成数据」,原文限定得很清楚:那 98% 说的是对齐阶段的数据,不是预训练。两者分母完全不同。
而前沿闭源模型到底用了多少合成数据,外部根本无从知道。
这里要主动更正一个常见说法:很多人说「合成数据的成功案例全是从更强的老师那里蒸馏来的,所以推不到前沿」。这个理由站不住——NVIDIA 那篇论文明写「老师模型并不给学生设上限」,它第一轮的数据生成器比被训练的模型还弱。真正挡住外推的是层级和不可测量,不是老师强不强:能查证的成功要么发生在对齐阶段,要么发生在小模型上。
「模型会因为吃自己产的数据而崩坏」呢? 那篇发在《自然》上的著名论文,常被引用的那句带保留的话——「不加区分地训练……可能导致崩坏」——其实是杂志编辑写的导语,不是论文摘要。作者自己的摘要一点没打折,用的是「导致」和「不可逆」。
但撑起这个强判断的实验相当小:在一个小语料上对一个 1.25 亿参数的老模型做递归微调,对照组是每一代都不保留任何原始数据。而同一篇论文里另一个设定给了解药:每一代都从原始真实数据里重新抽 10% 掺进去,结果只有轻微退化。真实数据从未离场,这是它管用的原因。
另一组研究给出了正面反驳:是「替换」真实数据才会崩,「累积」就不会——而真实的互联网更像累积。
截至 2026 年 8 月,没有任何一例经证实的、在真实生产训练中观测到模型崩坏的公开报告。 它至今是一个实验室现象,不是一起已经发生的事故。(要说清楚:这是「缺席证据」——厂商没有披露义务,内部失败的训练不会公开。)
那墙咬到过任何一次具体的训练吗? 唯一的公开个案是《华尔街日报》2024 年 12 月关于 Orion 的报道。引用它有三个坑:
第一,「每次五亿美元」是错的——报道说的是通则,一次为期六个月的训练光算力成本可能花掉约五亿,没说 Orion 那两次各花了这个数。
第二,那句被引用最多的「世界上可能没有足够的数据让它变得足够聪明」,是报纸自己的副标题,是记者的归因;OpenAI 从未确认。
第三,最要命的:报道里那个模型最后是在 2025 年 2 月以 GPT-4.5 的名义发布的;2025 年 8 月的 GPT-5 完全是另一个东西。这则报道能支撑的是「GPT-4.5 那条纯堆规模的路撞了墙」,不能写成「GPT-5 撞了墙」。
顺便说一件反直觉的事:公开的训练数据规模,并不是一条能往上外推的线。 数字本身没错,15 万亿、36 万亿、40 万亿一路在涨。但它们的尺子不一样(有的纯文本、有的含图像视频),而且有一部分「增长」本身就是模型自己造出来的数据。最能说明问题的是同一代内部:Llama 4 的 Maverick 比 Scout 更强,却只用了 22 万亿,比 Scout 的 40 万亿少了近一半。
2024 年 9 月之后,「scaling」开始指两件不同的事,而双方经常各说一件。
OpenAI 关于 o1 的原始说法是:性能随着更多强化学习和更多思考时间持续提升,并且——这半句常被略掉——「这条路线的约束与预训练有实质不同,我们还在研究它们」。厂商自己承认新范式的边界还没摸清。
那两幅著名的曲线图,横轴只写了「算力(对数)」,连一个数字刻度都没有。它是一张示意图,读不出倍数,也读不出绝对量级。
同一篇里那个 AIME 数学成绩有三档:单次作答 74%,64 次投票 83%,采样 1000 次再挑一个 93%。「o1 拿到 93 分」如果不说采样方式,就把多次尝试的成绩当成了一次作答的能力。
新轴的形状可能和旧轴不一样。 Meta 一项投入超过 40 万 GPU 小时的研究明确写道:不同于预训练常用幂律拟合,他们用 S 形曲线来拟合强化学习的算力与效果关系——S 形的意思是有上限。不过要注意,这项研究的验证跑在 80 亿参数的模型上,远小于前沿。
强化学习到底是把已有的能力引出来,还是造出了新能力?这场争论没有结案。 一方用大量采样测边界,发现基础模型在采样够多时反而追上来,结论是当前的训练方式没有引出根本性的新推理模式;另一方(NVIDIA)拿延长训练的结果反驳。
但那个「反驳」不干净:NVIDIA 那篇论文自己就写明,在基础模型本来就擅长的任务上,强化学习带来的是「微弱甚至负面的收益」;而且它的起点根本不是原始基础模型,而是一个已经被蒸馏过的推理模型——而蒸馏恰恰是对方承认能带来新模式的那条路。两篇论文并没有正面对撞。
推理的价钱,同时在变便宜和变贵。 达到同一水平的价格每年下降 9 到 900 倍不等(数据截至 2025 年 2 月,而且最快的降幅集中在那之前的一年)。但反方向上,推理模型为了拿高分会生成大量你看不见的思考内容,而这些一样计费。
价格本身也值得一说:OpenAI 的官方 changelog 记载,2025 年 6 月 10 日随 o3-pro 发布同时下调了 o3 的价格。但常被一并引用的另外三项——降幅「80%」、那句「同一个模型,只是更便宜」、以及「独立复测确认性能没变」——本次核查都没能找到一手出处,所以本文不拿它们下结论。
如果第一种墙查不出来,那第二种——付不起钱的那种——现在到哪一步了?
答案是:它正在逼近,但卡住的位置不在收益,而在电力、混凝土和交付周期。
Epoch AI 2024 年那份报告把四个约束排了序,结论是到 2030 年,把模型再往上推一大截(幅度相当于 GPT-4 超过 GPT-2 那一截)很可能做得到。而挡路的顺序是:电力 > 芯片产能 > 数据 > 延迟。数据排第三。
(这里有个容易引错的地方:那份报告算可用数据时完全没把合成数据算进去,合成是被单列为额外上行空间的。)
这个约束有一条常被引用的当事人证词:微软 CEO 在 2025 年 11 月说,现在最大的问题不是算力过剩而是电力,「你可能有一堆芯片躺在库房里,但我插不上电」——不缺芯片,缺的是能通电的机房。(这句话没有进入本期的验证流程,出自一档播客、经媒体转述,所以本文只当旁证。)
几个值得记住的数字:
而需求侧没有退坡的迹象。 Epoch 2026 年 5 月的测算是:按当前价格,token 需求每年约涨 10 倍,而全球推理供给能力每年约涨 3.4 倍,长上下文和智能体类的活最先撞上缺口。(这项测算同样没有进入本期验证流程,需求侧的数字本身也是拼接出来的估算。)
顺带看清一件事:空头那套广为流传的论证,核心是折旧会计和循环融资,不是模型能力撞墙。两者常被打包混用,但它们需要完全不同的证据。
这个问题目前没法回答,而且不是因为证据还没到。 前沿模型的参数量、数据量、可比的核心指标全都不公开。说有墙的拿不出实测,说没墙的拿出自家没刻度的图。任何人往任何方向下断言,都是在超出证据说话。
流传最广的证据,大多在传播中丢了限定语,而且丢的方向高度一致——总是朝着让论断更强的那一边。 Kaplan 摘要里的「部分」、Ilya 那句记者转述、o3 的「内部激进配置」、「98% 合成数据」其实是对齐阶段、《自然》那句对冲其实是编辑写的——每一处修正都是把一个更强的断言还原成一个更弱的事实。这不是某一方的毛病,双方都在这么干。
四堵不一样的墙被塞进了同一个词,所以吵不出结果。 数据墙、架构墙、效果递减、交付周期——每一方都在回应对方没说过的话。
能力还在涨,但真正逼近的约束换了位置:从收益侧换到了供给侧。 电力第一,芯片第二,数据第三。
遇到任何一个「AI 撞墙/没撞墙」的数字,先问四句话: 这是厂商自己报的还是独立测的?用的是哪一套外围工具?发布会上那个和我能买到的是同一个模型吗?这个数字后来被改过吗?
按把握从大到小排:
值得盯什么。 有三件事一旦发生,这篇文章的判断就该改:
一是有任何一家公开同口径的参数量、数据量与核心指标——那样第一种墙才第一次变得可以检验,而这也是最不可能发生的一件。
二是METR 那把尺子的斜率出现拐点。它是唯一一把不由厂商掌握、刻度又有物理含义的尺子;它拐了,才是真的信号,而不是又一个基准饱和了。
三是电力这一格松动或锁死。既然约束已经排到电力第一,那么接下来两年真正决定节奏的,是并网速度和机房交付,不是论文。
对抗验证杀掉了本文原定的一条核心结论,以及若干处表述。挑最重要的说:
原本准备写的是:喊「scaling 时代结束」的 Ilya,转头拿了 NVIDIA 的 50 亿美元把算力扩大十倍。 两票判定这是删掉限定语后制造的伪矛盾——他给下一阶段下的定义原话就是「回到研究的时代,只不过带着大计算机」,他否认的是「把现有配方放大一百倍就能变革一切」,同时明确承认放大规模「确实会带来不同」。
站得住的批评是另一个,而且更有意思:刻度漂移。 他在同一场访谈里说过,你确实需要一定量的算力,但研究是否需要有史以来最大的算力远非显然,还举了 AlexNet 只用 2 块 GPU、Transformer 论文实验不超过 64 块的例子。不到一年之后,他口中「够用的算力」被抬高了一个数量级。再加一条:一家到 2026 年 8 月仍未公开任何论文或产品的公司拿到了数量级的算力提升,它的研究主张无从被外部检验。
其他被推翻的还有:「Orion 只比 GPT-4 好 20%」查无出处;「首个突破 80%」不成立;ARC 那个成本「上修到三万」方向说反了;「o1 跑基准花 2767 美元」找不到一手来源;《自然》那句对冲其实是编辑导语,作者原文更强;NVIDIA 那篇不是干净的反例;「合成数据成功案例全是更强老师的蒸馏」也站不住。
这恰好是全文的缩影:在这场争论里,几乎每一个足够锋利的说法,送回原文之后都会钝一些;而剩下的那部分,通常比原来的版本更值得记住。