2009 年至今 · 四百多个文本文件、四百多万词 · 仍在更新（更新日志排到 2026 年 6 月）· 转折点是 2020 年 5 月 GPT-3 那篇《The Scaling Hypothesis》，此前他是站外无名的自学研究者，此后是「在实验室外面提前看对了的那个人」· 本页通读 13 篇，跨度 2009 年 1 月至 2026 年 5 月
互联网上关于「玩一个叫双 n-back 的记忆游戏能不能提高智商」这件事，最完整的一份资料，写了十年，正文近六万词，作者叫 Gwern。
他在这份资料的页首，给自己盖了一个戳：
写这份 FAQ 的人，也是把它推翻的那个人。2009 年他读到《连线》报道说这个游戏能提高智商，震了一下——智商是人身上最难往上推的东西之一——于是开始记录每一篇相关论文。2012 年，他发现居然没人给这个话题做过元分析（把所有研究汇总起来算总账），就自己做了一个。结论是：有效果的研究，几乎都是那些对照组什么都不用干的研究。让对照组也去练点别的，效果就塌了。换句话说，量到的不是智商提升，是「练了东西的人考试时更来劲」。
然后他把 FAQ 留在那儿，没删，只是加了一个戳。
Gwern Branwen 是笔名。这个人先天听障，词是从书里学来的所以到现在还会念错音；靠 Patreon 每月九百到一千美元加上一些早年的比特币，一年不到一万二千美元过活；养一只猫；2024 年接受采访时的唯一条件是不出音频和视频。他没有博士学位、没有实验室、没有经费、没有同行评议。
他十七年没放下的问题就是从这个处境里长出来的：这样一个人，怎么查明一件他真正在乎的事？查明之后，怎么让答案不跟着互联网一起蒸发？
两个敌人：自我欺骗，和遗忘。他给出的答案，每一个都反直觉。
他观察到的怪事是：博客文章几乎全是一次性的。
most blog posts are the triumph of the hare over the tortoise. They are meant to be read by a few people on a weekday in 2004 and never again, and are quickly abandoned…(But isn’t that sad? Isn’t it a terrible ROI for one’s time?) 大多数博客文章都是兔子对乌龟的胜利。它们是写给 2004 年某个工作日的少数几个人看的，此后再无人问津，很快就被弃置……（但这难道不可悲吗？这难道不是一笔糟糕透顶的时间投资回报率吗？） 《About This Website》
他的解法不是「更勤奋」，是取消「开始」这个动作：
So this suggests a solution: never start. Merely have perpetual drafts, which one tweaks from time to time. And the rest takes care of itself. 所以这提示了一个解法：永远不要开始。只维持一批永久的草稿，时不时修一修。剩下的事自己会办好。 同上
于是他的每一页顶上都挂着一个日期区间而不是一个发表日（《About》那页是 2010-10-01 到 2024-08-30，十四年，5083 天），挂着完成度（笔记／草稿／进行中／完成）、把握程度、以及重要性 0–10 分。文章里每出现一个年份，旁边都用上标标着「距今多少年」——因为他不是写给今年的你看的。他说这些页面真正的目标读者是：
my future self, who is intelligent and interested, but has forgotten. 我未来的自己：他聪明，也有兴趣，但已经忘了。 同上
他试过一种近红外照射的所谓益智法。断续用了一年多，一统计，跟他每天的自我评分强相关（效应量 0.455，不小）。换个人就该发帖安利了。
他反过来想：会不会是状态好的日子让他更容易想起来用？于是从 2014 年 8 月到 2015 年 3 月，167 天，每天中午扔一次硬币决定今天用不用。结果效应量掉到 0.07。他把 LED 送人了。
更狠的是他决定做不做实验的方式。鱼油那次他列了个式子：把握程度 × 先验概率 × 收益 − 实验成本 = (0.20 × 0.30 × 540) − 41 = −9。负数，所以不做。理由很清醒：他本来就在吃鱼油，一个功效不足的实验就算得出「无效」，也不够让他改主意。
这是他最原创也最扫兴的一条。当样本大到一定程度，任意两个变量之间都会出现统计显著的相关：
If you fail to reject the null hypothesis with p < 0.05, you simply haven’t collected enough data yet. 如果你没能在 p < 0.05 上拒绝零假设，那只说明你数据还没收够。 《Why Correlation Usually ≠ Causation》
他去把医学、经济学、心理学里「先有观察性研究、后来有随机试验」的配对全找出来对账，发现最高质量的相关性研究预测随机试验结果的能力，勉强赢不过抛硬币。
然后是他自己的解释：现实是一张稠密因果图。每个变量都跟好几个变量相连，于是「能带来信息的间接路径」数量增长得远远快于「一推就动的直接因果边」。任意一条你观察到的相关，落在直接因果边上的概率因此极小。而人的直觉是在稀疏世界（接球、走路）里长出来的，所以我们永远系统性地低估混杂。他的处方是一句翻转过来的话：问题从来不该是「在这儿做随机试验道德吗」，而该是「不做随机试验，怎么可能道德」。
2020 年 5 月，GPT-3 的论文发布，用他的话说「几乎沉得无声无息」。
关键在于：他自己曾经是这套说法最不客气的怀疑者。2004 到 2010 年他读那些「算力够了智能自然会来」的预言时，觉得是魔法思维——算法难得要死，你不可能买一堆计算机就买出智能来。
改变他的不是顿悟，是十年的滴水：数据集越来越大，模型越来越大，GPU 从一块变八块，卷积网络能干的事一天比一天多。他的说法是，他不断注意到「世界看起来越来越像他们的世界，而不是我的世界」。GPT-3 是判决性实验：如果 scaling 是假的，这篇论文就该平平无奇。他翻到第二页那张少样本学习的曲线图——「我们就活在 scaling 的世界里」。
然后他打开推特，看到大家在说「这恰好说明 scaling 多不管用，连最好成绩都不是」。这篇后来成为该领域最有影响力的文章之一的东西，起因是这么一句：
That made me so angry I had to write all this up. Someone was wrong on the Internet. 这把我气到必须把这一整套都写下来。互联网上有人错了。 Dwarkesh Patel 访谈，2024 年
而这四个答案其实是同一个答案。一个人没有实验室，能拿的只有两样东西：一是肯把功夫下到别人觉得不值得的深度——他说自己那些最受欢迎的文章「换谁都能写，我唯一可能称得上有功劳的地方，也许就是比别人多下了点功夫」；二是时间。时间在机构那里是敌人（项目要结题、论文要发表），在他这里是唯一的复利。他 2020 年那篇文章里有一处提问，问未来会不会出现某种庞大的多模态智能体。那行字旁边现在挂着一条批注：
五年后的他回来给五年前的他判卷，就写在原句旁边，一个字都没删。
互联网上关于「双 n-back 到底能不能提高智商」这件事，最完整的一份资料，是一份写了十年的 FAQ。作者一个人写的。我把正文抽出来数了一下，近六万词。它详尽到会逐篇追踪某项研究在哪个论坛被谁质疑过、作者本人回信说了什么。
而在这份 FAQ 的页首，作者给自己盖了这样一个戳：
「certainty: unlikely」不是谦虚，是一个有精确定义的标签——他从美国情报界一份叫「Kesselman 估测用词表」的东西里借来了一套梯度：确定、高度可能、可能、有可能、不太可能、高度不可能、极小、不可能。他给自己每一篇文章都挂一个。挂在这份 FAQ 上的是「不太可能」。
换句话说：这个人花十年建成了世界上关于某件事的最好的资料库，然后在门口立了块牌子告诉你，这件事多半是假的。
更怪的是他没有删掉它。
Gwern Branwen 是笔名。这个名字下面的人是一位美国自由撰稿人兼研究者，2009 年开站，一直写到今天——站上的更新日志排到 2026 年 6 月。
他先天听障。他说小时候上课要抱着一个装着助听设备的大棕盒子走到老师面前，让老师接上，那让他觉得被当众标记成异类；对话永远慢半拍，所以他成了书虫——「那是小孩能做的、完全不受听力影响的事情之一」。代价是他很多词只在书上见过，到现在还会念错。
钱的部分同样具体：Patreon 每月九百到一千美元，加上早年剩的一些比特币，一年生活费不到一万二千美元。他养一只猫。他给《连线》、MIRI、GiveWell 以及 FBI 做过咨询，但页面上写着目前不接新活。2024 年他接受 Dwarkesh Patel 的长访谈，唯一的条件是不发音频和视频，只发文字稿——理由是他和家人过去被骚扰过。
这些约束不是背景板，它们直接决定了这个站长什么样。没有机构，就没有截稿日，也没有人替你的可信度背书——两样东西都得自己造。
他是被一个具体问题绊住的，不是先有理念。
2008 年，《连线》报道说一项叫双 n-back 的记忆训练能实打实地提高流体智力。他的反应不是好奇，是震动。他写道，智商是人身上最顽固的性质之一，最脆弱，最难往上推，同时又是最有价值的特质之一——他在脚注里补了一句极刻薄的话：
It is very easy to lower IQ; you can do it with a baseball bat. It’s the other way around that’s nearly impossible. 降低智商非常容易，一根棒球棍就够了。反过来才几乎不可能。 《About This Website》脚注
所以：练还是不练？这个游戏一天要吃掉他半小时。
问题的形状在这里定型了。要回答它，你需要跟踪一批还在源源不断产出的、互相矛盾的心理学论文；你需要几年；你需要会做元分析；而且没有任何机构会付钱让你干这件事，因为它对谁的职业生涯都没好处。他的原话是：
Questions of great import like this are worth studying carefully. The wheels of academia grind exceeding slow, and only a fool expects unanimous answers from fields like psychology. Any attempt to answer the question ‘is DNB worthwhile?’ will require years and cover a breadth of material. 这样事关重大的问题值得仔细研究。学界的轮子转得极慢，而且只有傻瓜才指望从心理学这类领域得到一致的答案。任何回答「双 n-back 值不值得练」的尝试，都需要好几年，并覆盖极广的材料。 《About This Website》
他不是先想好方法再挑题目，是被这个题目逼出了方法。而这个题目背后站着一个更大的问题，此后十七年他一直在跟它较劲：一个没有实验室、没有经费、没有同行评议、也没有学位背书的人，怎么查明一件他真正在乎的事？以及——查明之后，怎么让这个答案不跟着互联网一起蒸发？
两个敌人：自我欺骗，和遗忘。他后来的每一样东西，都是冲着这两个中的一个去的。
这也解释了这个站表面上那种近乎发神经的题材跨度。同一个人写统计学、写心理学自我实验、写暗网毒品市场的经济学、写《新世纪福音战士》的考据、写诗、写 Haskell，还写过泄露的电影剧本。看上去像一个什么都好奇的人的流水账。但底下是同一件事：每一页都是一次「我想知道 X，而没有人会替我查清楚，所以我自己来」。他自己的说法是，他从没想过会写这么多，只是发现「一旦手里有了锤子，到处都是钉子」——工具是通用的，所以题目才可以是任意的。
先说遗忘那一半。
他早年反复引一段 Julian Assange 2006 年的话，那段话大概是他整个站的地基：
The Internet is self destructing paper. A place where anything written is soon destroyed by rapacious competition and the only preservation is to forever copy writing from sheet to sheet faster than they can burn. If it’s worth writing, it’s worth keeping. 互联网是会自毁的纸。在那里，任何写下的东西很快就被贪婪的竞争摧毁，唯一的保存方式是不停地把文字从一张纸抄到另一张纸上，抄得比它们烧掉的速度更快。如果值得写，就值得留。 Julian Assange，《Self destructing paper》，2006 年；转引自《About This Website》
接下来是他自己的观察，这一句才是真正的起点：
most blog posts are the triumph of the hare over the tortoise. They are meant to be read by a few people on a weekday in 2004 and never again, and are quickly abandoned…(But isn’t that sad? Isn’t it a terrible ROI for one’s time?) 大多数博客文章都是兔子对乌龟的胜利。它们是写给 2004 年某个工作日的少数几个人看的，此后再无人问津，很快就被弃置……（但这难道不可悲吗？这难道不是一笔糟糕透顶的时间投资回报率吗？） 《About This Website》
注意他用的是「投资回报率」。他是从收益率的角度看写作的：你花掉的是不可再生的时间，换回来一个三天后就没人读的东西，这笔账根本不划算。
那怎么办？他的答案叫 Long Content（长内容），而它的操作要领听上去像在耍赖：
Half the challenge of fighting procrastination is the pain of starting—I find when I actually get into the swing of working on even dull tasks, it’s not so bad. So this suggests a solution: never start. Merely have perpetual drafts, which one tweaks from time to time. And the rest takes care of itself. 对抗拖延的挑战有一半在于起步的痛苦——我发现一旦真正进入状态，哪怕是枯燥的活儿也没那么糟。所以这提示了一个解法：永远不要开始。只维持一批永久的草稿，时不时修一修。剩下的事自己会办好。 《About This Website》
「永远不要开始」不是不干活，是取消「一篇文章从无到有」这个心理事件。文章永远在草稿状态，你只是路过时给它加一条引文、补一个数据、修一处措辞。三年之后你回头看，它已经是那个话题上最完整的东西了。他说这才是这个框架真正的用处：它让你能承接那些「正常方式下太大或太乏味而没人会做」的项目。而它对写作者本人的许诺相当动人：
if one holds onto every glimmer of genius for years, then even the dullest person may look a bit like a genius himself. 如果一个人把每一丝灵光都攥住好几年，那么哪怕最迟钝的人，看上去也会有点像天才。 同上
这套想法在页面上是有形状的。他的每一页顶上不是一个发表日期，而是一个区间——《About》那页写着 2010-10-01 到 2024-08-30，鼠标悬上去会告诉你这个区间「持续了 14 年（5083 天）」。区间底下是三行元数据：完成度（笔记／草稿／进行中／完成）、把握程度（那八级估测用词）、重要性（0 到 10 的十分位，用他自己写的一个排序小工具排出来的——他把「胚胎筛选」这类话题排 10 分，把自己某次小小的补剂自测排 0 到 1 分）。
最能说明问题的是一个几乎没人会做的细节：正文里每出现一个年份，旁边都有一个小上标写着距今多少年。「2008」会渲染成「2008⁽¹⁸ᵞᵃ⁾」。这在今天看是多余的，但它不是为今天做的——它是为了让 2070 年打开这一页的人不必心算。
而在页面看不见的地方，是一整套对抗腐烂的工程。他坚持纯静态 HTML、开放格式、全部开源工具，理由是三十年后你至少还能用文本编辑器打开它；源文件全部进 git；每一条外链都被自动抓取存档，同时推给 Internet Archive；文章的 Markdown 源码可以直接在网址后面加个 .md 读到；全站按 CC-0 放弃版权，因为「多存几份拷贝，东西才安全」。他甚至写了个检查脚本，专门盯着已知会烂掉或不可靠的域名，一发现就要求换掉或先行镜像。他的原则朴素得像句水管工守则：「修死链的最佳时机，是你本来就在编辑这一页的时候。」这套东西的规模也很具体：2022 年 11 月他统计过一次，站点源文件有四百多个、四百多万词、三十多兆字节；把所有镜像、论文全文和图片编译进去之后，整个站超过 72 GB。他在替整个互联网上他引用过的那部分，做了一份私人备份。
因为他反复讲，这些页面的目标读者从来不是你：
I am attempting to explain things to my future self, who is intelligent and interested, but has forgotten. What I am doing is explaining why I decided what I did to myself and noting down everything I found interesting about it for future reference. 我是在向我未来的自己解释事情——他聪明，也有兴趣，但已经忘了。我做的事，是向自己解释我当初为什么那样决定，并把我觉得有意思的一切都记下来备查。 《About This Website》
而他还想再往前推一步。光是「不腐烂」不够，他想要的是会随时间增值：给文章挂上可证伪的长期预测，让时间自己来判卷。这不是空话——他在 2020 年那篇讲 AI 规模化的文章里问过一句「未来会不会出现某种超大的多模态智能体、同时在几千个任务上训练」，那行字旁边现在挂着一条批注：[Roughly, yes. —Editor 2025-10-19]（大致上，是的。——编者，2025 年 10 月 19 日）。五年后的他回来给五年前的他判卷，就写在原句旁边，原句一个字没删。
这套写于 2010 年的东西，在 2024 年长出了一个他自己都没预料到的用途。当被问到为什么现在写作特别要紧时，他的回答变成了这样：
By writing, you are voting on the future of the Shoggoth using one of the few currencies it acknowledges: tokens it has to predict. If you aren’t writing, you are abdicating the future or your role in it. 写作，就是在用它认得的少数几种货币之一——它必须预测的 token——为那头修格斯的未来投票。如果你不写，你就是在放弃未来，或者放弃你在未来里的位置。 Dwarkesh Patel 访谈，2024 年
（「修格斯」是网上给大语言模型起的绰号，出自洛夫克拉夫特笔下那种没有固定形状的怪物。）他的论证是冷的：如果你的价值观、你喜欢的东西没有落成文字，那么对模型来说它们就不存在；而不存在，离「将来也不会存在」只有一步之遥。同一次访谈的另一句是这套哲学十四年来最短的表述：
If it wasn’t written down, it wasn’t written down. 没写下来的，就是没写下来。 同上
再说自我欺骗那一半。
这里有一个完整的小故事，我觉得它是理解这个人最快的入口。
2013 年有人向他推荐一种近红外照射（拿一个便宜的红外 LED 照脑袋，理论上帮助线粒体呼吸）。他买了一个十三美元的安防用红外补光灯，断断续续用了一年多，同时他本来就在每天给自己的状态打分。一统计，用的日子和不用的日子差别不小：效应量 0.455。
换个人到这一步就该发帖了。他没有。他想到的是反向因果：会不会不是照射让他状态好，而是状态好的日子他才更容易想起来去照？
于是他做了一件很少有人对自己做的事。从 2014 年 8 月 2 日到 2015 年 3 月 3 日，167 天，每天中午他扔一次硬币，决定今天照不照；忘了扔就跳过这天不算。他事先算过需要多大样本，最后跑到了那个数的两倍。
结果：效应量 0.07。他的结论写得很平静：
A randomized non-blind self-experiment of LLLT 2014–2015 yields a causal effect which is several times smaller than a correlative analysis and non-statistically-significant/very weak Bayesian evidence for a positive effect. This suggests that the earlier result had been driven primarily by reverse causation. 2014–2015 年这次随机、非盲的近红外自我实验得出的因果效应，比相关性分析小了好几倍，对正面效果只构成不显著／非常弱的贝叶斯证据。这说明早先那个结果主要是由反向因果驱动的。 《Nootropics》
他把那套 LED 送人了。
这个故事漂亮在哪儿？在于它是他后面那条大定律在他自己身上的一次现场演示：一个看上去挺可观的相关（0.455），在扔硬币面前塌成了噪音（0.07）。而他不是在别人身上抓到这个，是在自己最想让它有效的东西上抓到的。
他的实验方法有一种手工作坊式的机灵。要给自己下盲很难——你自己配的药，你自己知道吃的是哪颗。他的办法是：做九颗真药、九颗安慰剂装进同样的透明胶囊丢进一个袋子里，每天闭着眼摸一颗吃掉，晚上写完当天的观察和猜测，再去数袋子里剩下的比例，反推出今天吃的是哪种，然后补一颗回去维持比例——不补的话，剩几天他就能靠算概率猜出来。
而他汇报结果的方式，是这个站最好的部分之一。尼古丁那一轮，他猜自己吃没吃的准确率比瞎猜还差：
Ouch, so my guesses were actually worse than random; this isn’t encouraging (if nicotine was helpful, why didn’t I notice?) but it does indicate the blinding was successful. 哎哟，所以我的猜测其实比随机还差；这不算什么好消息（如果尼古丁真有用，我怎么没察觉？）——不过它倒是说明我的盲法是成功的。 《Nootropics》
锂：「没有可检测到的效果，好的坏的都没有。」阿得拉：预测准确率显著高于随机，说明它确实对他有效——但结论仍然是不值得，因为贵，而且毁他的睡眠。
但这一节里最反直觉的一步，其实发生在实验开始之前。
他会先算这个实验值不值得做。他管这叫「信息的价值」，公式是：功效 × 先验概率 × 收益 − 实验成本。鱼油那次他算出来是 (0.20 × 0.30 × 540) − 41 = −9，负数，所以他没有做那个实验。理由讲得很清楚：他本来就在吃鱼油、本来就相信它有用，那么一个功效只有 20% 的实验，就算真跑出「无效」，证据强度也不足以让他改行为——花的时间纯亏。他还顺手算了一下：如果实验能做到 40% 的功效，这笔账就从 −9 变成 +23.8，那就该做了。阿得拉那次算出来是 +512，所以他做了。
这一步值得停一下。绝大多数认真的人，是在「该不该相信 X」这个层面上纠结。他把这个问题往下挪了一层，变成一个带价格的决策：为了改进这个信念，我该花多少钱？花了以后我真的会改行为吗？如果不会，那就别花。这是一种对自己的时间极其吝啬、同时对自己的信念极其不留情的姿势。
前面两条是工作方式。这一条是世界观，也是他最原创的一次贡献。
起点是一个统计学界早就知道、但大多数人不肯直面的事实：当你的样本量足够大，任意两个变量之间都会出现统计显著的相关。不管它们看上去有没有任何关系。他写得干脆：
Everything is correlated. If you fail to reject the null hypothesis with p < 0.05, you simply haven’t collected enough data yet. So, as Meehl asked, what does a correlation between 2 variables mean if we know perfectly well in advance that it will either be positive or negative, but we can’t predict which or how large it is? 所有东西都相关。如果你没能在 p < 0.05 上拒绝零假设，那只说明你数据还没收够。那么，正如 Meehl 追问的：如果我们事先就完全清楚两个变量的相关要么是正的要么是负的，只是猜不出是哪个、也猜不出多大——那这个相关到底还意味着什么？ 《Why Correlation Usually ≠ Causation》
接下来他做了他惯常做的事：不吵架，去数。他编了一份对照清单，把医学、经济学、心理学、教育学里那些「先有观察性研究、后来又真做了随机试验」的配对全找出来，看观察性研究到底预测对了没有。这份清单他挂着更新了八年。结论是：
the highest quality correlational research still struggles to outperform a coin flip in predicting the results of a randomized experiment. 最高质量的相关性研究，在预测随机试验结果这件事上，仍然很难赢过抛硬币。 《Why Correlation Usually ≠ Causation》
到这里为止都还是转述别人的坏消息。他自己的贡献是下一步：为什么？
他给的答案是图论式的，而且一说就懂。设想现实是一张因果图：变量是点，「A 直接引起 B」是一条带箭头的边。在一张稀疏的图里——比如你伸手接球的那个世界——点与点之间没几条路，你观察到的相关基本就是因果。但在一张稠密的图里，每个点都连着好几个点，于是「两个变量之间存在某条能传递信息的路径」的数目，增长得远远快于「一条从 A 直通 B 的单向因果链」的数目。
结论就跟着来了：你观察到的任意一条相关，落在那条直接因果边上的概率极小。所以相关不但常常不是因果，而且「不是」才是默认情况，「是」才是需要解释的例外。
那为什么人类的直觉这么顽固地不肯接受？因为我们的直觉是在稀疏图的世界里长出来的。接球、走路、开门——大脑刻意把这些领域建模得简单，好让规划可行。他把这叫「民俗因果学」，类比于「民俗物理学」：连学过牛顿力学的物理系学生，都还是会用亚里士多德式的直觉去预测轨道上的物体。在经济学、生物学、教育学这种真正稠密的领域里，这套直觉不是不够精确，是系统性地朝一个方向错。
他从这里推出的实践结论，是一句被翻过来的话，我认为是他写过的最有力的一句：
The question should never be, “is it ethical to run a randomized experiment here?” but “could it possibly be ethical to not run a randomized experiment here?” 问题从来不该是「在这里做随机试验道德吗？」而该是「不做随机试验，怎么可能道德？」 《Why Correlation Usually ≠ Causation》
他的理由是：既然不做实验就意味着凭着几乎不比抛硬币强的证据去动别人的生活，那么「不实验」才是那个需要被追问伦理的选项。这就是为什么他会跑 167 天的硬币去测一个十三美元的红外灯——在他这里，那不是偏执，那是唯一诚实的做法。
前面三条给了他一套方法。这一条是这套方法交出的那张成绩单。
2020 年 5 月，OpenAI 发布了 GPT-3。他记下的第一件事是这次发布有多冷清：没有博客文章、没有媒体轰炸，研究者兴趣寥寥，公开讨论里除了轻蔑的挖苦几乎没有别的，「这次发布看上去几乎沉得无声无息」。
而这段故事真正的好处，在于他自己的前史。他不是天生的信徒——他曾经是这套说法最不客气的怀疑者。2004 到 2010 年，他读 Moravec 和 Kurzweil 那类「等算力够了，对的算法自然会出现」的论证时，觉得那是胡扯：
Algorithms are really complex and hard! They require deep insight—or at least I thought they did. It seemed like really difficult mathematics. You can’t just buy a bunch of computers and expect to get this advanced AI out of it! It just seemed like magical thinking. 算法真的又复杂又难！它们需要深刻的洞见——至少我当时是这么认为的。那看上去是非常困难的数学。你不可能光买一堆计算机，就指望从里面掉出这种高级 AI 来！那看着就是魔法思维。 Dwarkesh Patel 访谈，2024 年
改变他的不是任何一个瞬间。他自己的描述是我读到过的关于「换信念」最诚实的一段：
So for me it was this gradual trickle of drops hitting me in the background as I was going along with my life. Every few days, another drop would fall… I would just pay attention and notice that the world over time looked more like their world than it looked like my world—where algorithms are super important and you need like deep insight to do stuff. Their world just kept happening. 对我来说，那是我过日子的时候，背景里不断滴下来的一滴一滴水。每隔几天，又落下一滴……我只是留意着，然后注意到：随着时间推移，世界看起来越来越像他们的世界，而不是我的世界——在我的世界里算法极其重要、干成事需要深刻洞见。而他们的世界一直在发生。 Dwarkesh Patel 访谈，2024 年
「他们的世界一直在发生」。这是一个人被现实一点点磨掉旧模型的样子，中间没有任何戏剧性。
然后 GPT-3 成了判决性实验。他的推理很干净：GPT-2 到 GPT-3 是神经网络史上最大的一次放大之一，而且不是围棋那种窄任务。如果规模假说是假的，这篇论文就该平平无奇。他翻开第一页、第二页，看到那张少样本学习的曲线图——「我们就活在 scaling 的世界里」。
他到底看见了什么？核心的观察他起了个名字，叫「规模的祝福」：
The blessings of scale is the observation that for deep learning, hard problems are easier to solve than easy problems—everything gets better as it gets larger (in contrast to the usual outcome in research, where small things are hard and large things impossible). 「规模的祝福」是这样一个观察：对深度学习来说，难问题比易问题更好解——一切东西变大之后都会变好（这跟研究里通常的结局正相反：小事情很难，大事情不可能）。 《The Scaling Hypothesis》，2020 年
为什么会这样？他给的机制解释是：一个大模型内部等于装着数量惊人的子模型，它们互相平均，整体形成一种偏好简单解的奥卡姆剃刀。但——这是关键的一句——「神经网络是懒的」：只要数据不够多、任务不够难，模型总会先抓住那些死记硬背和表面相关的捷径，因为那些最好学。只有当数据大到「把所有算术实例都背下来」比「真正学会加法」更占地方的时候，模型才被迫去学那个抽象。
“NNs are lazy”: they can do far more than we make them do when we push them beyond easy answers & cheap shortcuts. The bitter lesson is the harder and bigger, the better. 「神经网络是懒的」：当我们把它们推出简单答案和廉价捷径之外时，它们能做的事远比我们让它们做的多。苦涩的教训就是：越难越大，越好。 《The Scaling Hypothesis》
而他对「预测下一个词为什么能通往理解」的论证，是这篇文章里最漂亮的一段。他把训练过程讲成一条下坡路：模型先学会字母频率（误差从 8 比特掉到约 5 比特），再学会词（掉到 3–4 比特），再学会词之间的搭配（不到 3 比特），再学会句子成立（约 2 比特）。到这里为止都还是形式。而剩下的那不到 1 比特里装的是什么？他举的例子刺得很准：「Janelle 吃了冰淇淋，因为他喜欢甜的」和「因为她喜欢甜的」，差别只有一个字母、不到 0.02 比特，但没有一个人类会看不出来。再往下，是「放进冷冻室的冰淇淋会结冰而不是融化」，是「十句话之前说过这个人还活着」，是餐桌上十来个人各怀心机时谁在算计谁。人类做同样的任务能达到 0.7 比特左右。那缺掉的部分是什么？
For a language model, the truth is that which keeps on predicting well—because truth is one and error many. Each of these cognitive breakthroughs allows ever so slightly better prediction of a few relevant texts; nothing less than true understanding will suffice for ideal prediction. 对语言模型来说，真理就是那个持续预测得好的东西——因为真理只有一个，谬误有很多。每一次这样的认知突破，都只让它对少数几段相关文本的预测好上那么一点点；而要达到理想的预测，非真正的理解不可。 《The Scaling Hypothesis》
他把这句总结成四个字：「最后的比特最深。」然后顺手扔下一句能记一辈子的话：为什么人要长这么大的脑子，明明黑猩猩用零头就能把日常事情办得差不多好？因为人与人的差别不在日常动作里，在那些一辈子只做一次、做错就完蛋的稀有选择里——「我们大概是在填人寿保险表格的时候，最像个人。」
那么问题来了：谷歌和 DeepMind 有钱、有卡、有人，为什么是 OpenAI 做出来的？
他的分析这一段写得相当细，而且不是骂人，是拆世界观。他说 DeepMind 持有的是一种「弱规模假说」：他们相信通往通用智能的路是把哺乳动物的大脑一个模块一个模块地找出来——每个模块本身当然也需要很大的算力，但它们得被一件件地发明和调好，中间没什么意外。所以一旦你做出老鼠级别的智能，人类级别的不过是同样的东西再多来一点。这套信念很自洽，也解释了他们为什么那么看重神经科学、为什么会做出「什么招都往墙上扔看哪个粘住」的那类系统。而谷歌大脑那边则太务实、太看短期，愿意搞混合专家模型，主要是因为指望能把它部署到谷歌翻译里去。两家都不是蠢，是不相信。相比之下 OpenAI 那时既没有谷歌那样的现金流也没有那么多人，只能像创业公司一样押一个「我们知道一个别人不知道的秘密」的赌注。他的结论不客气：
said competitors lack the very most important thing, which no amount of money or GPUs can ever cure: the courage of their convictions. 那些竞争者缺的是最重要的那样东西，而它是再多的钱或 GPU 都治不好的：把自己的信念贯彻到底的勇气。 《The Scaling Hypothesis》
文章最后那一段，是他写过的最有杀伤力的东西。他没有去逐条驳斥某个专家，而是去描摹一种声音——那种在每次「不必担心」的场合都会响起、无论对错听上去都一样的权威嗓音。他一条一条列：这个声音坚持要大家冷静、不要「恐慌」；它向你保证那不会发生（因为那不可能发生）；它不处理不确定性；它不相信在图上画线（那是纯粹的数字命理学）；它不给出任何可被证伪的数字预测；它不肯公开源代码（理由复杂，外行听不懂）；它只说话，不被追问（你没法问这个声音：什么客观事实会让你改变主意）；它从不改变主意（直到它改变）；它对世上发生的事从不惊讶（只是失望）。最后一条是：
The voice advises you to go back to sleep (right now). 这个声音建议你回去睡觉（现在就去）。 《The Scaling Hypothesis》
而这整篇东西的起因，说出来近乎滑稽。2020 年他读完论文，转头打开推特，看到大家在说「这恰好证明了 scaling 有多不管用，连最好成绩都不是」：
That made me so angry I had to write all this up. Someone was wrong on the Internet. 这把我气到必须把这一整套都写下来。互联网上有人错了。 Dwarkesh Patel 访谈，2024 年
「互联网上有人错了」是一个著名网络漫画的梗，用来嘲笑那种半夜不睡觉非要跟陌生人吵完的人。这一次，这种人写出了那十年里最被反复引用的一篇 AI 文章。
把功夫下到别人觉得不值得的深度。他在《About》里引了魔术师 Teller 的一段话当作自己的方法论：让秘密的代价，远远大于这个戏法看上去值的钱——你之所以会被骗，是因为它需要的时间、金钱和练习超出了任何清醒的观众愿意投入的量。Teller 和搭档为了在脱口秀桌上从帽子里变出五百只蟑螂，请了昆虫学家挑镜头上跑得慢的品种、学怎么徒手抓虫而不尖叫、还专门做了一个蟑螂爬不上去的泡沫板暗格。而他对自己那些最出名的文章的评价是：
Anyone could’ve compiled the DNB FAQ… If I have done anything meritorious with them, it was perhaps simply putting more work into them than someone else would have. 那份双 n-back 的 FAQ 换谁都能编……如果我在这些东西上做出了什么值得称道的事，那也许仅仅是我比别人多下了点功夫。 《About This Website》
选题靠留意自己什么时候烦躁。这是他给出的唯一一条「怎么开始写」的建议，而且具体得可以照抄：留意你什么时候在心里说「怎么这个东西居然没有一个像样的网页」「我想知道是不是」「有没有人做过」「这已经是我第三次解释这件事了」。他的例子全是这么来的——双 n-back 的 FAQ 起于邮件列表上有人反复问同一个问题；那篇莫达非尼起于「想买这玩意儿到底该去哪买真麻烦」；关于丝绸之路暗网市场那篇（后来成了全站流量最高的一页）起于他抱怨主流媒体的报道又浅又煽情；那三篇《死亡笔记》分析，起因是「我冒出了一个关于信息论的好玩念头」。
随身带着十二个问题。他引数学家 Rota 转述的费曼版本作为自己的方法：你要让十来个自己最喜欢的问题始终在脑子里待着，虽然它们大部分时间都在休眠；每当你听到或读到一个新技巧、新结果，就拿它去挨个试这十二个问题，看能不能用得上。每隔一阵子就会中一次，然后别人会说：他是怎么做到的？他准是个天才。他给了一个真实的例子，荒唐得可爱：2013 年 3 月他在打坐，脑子里飘过一句「失业率上升的时候，是不是会有更多同人音乐发布，因为人们空闲变多或者找不到工作？」紧接着是——「嘿！我下载的那个巨大的东方 Project 音乐种子，四万五千首歌全都标了发行年份，大概能回答这个问题。」
把量化工具往任何东西上招呼，包括漫画。2011 年他写过一篇分析《死亡笔记》的文章，用信息论去算主角 Light 到底泄露了多少「匿名性」。作案时间过于规律，值 6 比特；被电视上那个诱饵激怒而动手，值 1.6 比特；用当警察的父亲的权限去查内部资料，最贵的一笔，11 比特；杀掉盯梢的 FBI 探员，又 6 比特。加起来超过 25 比特，也就是把嫌疑范围压缩到了三千万分之一，剩下的靠侦探直觉就够了。而这篇看似玩闹的文章推出的是一条真的安全教训：
Light’s fundamental mistake is to kill in ways unrelated to his goal. Light 的根本错误，是用与他的目标无关的方式杀人。 《Death Note: L, Anonymity & Eluding Entropy》，2011 年
在全球尺度上，轶事约等于零信息。这是他读新闻的方式，写在《Littlewood 定律与全球媒体》里。Littlewood 定律说：在一个普通人的一生里，「奇迹」大约每月发生一次。放到八十亿人的全球尺度上，一件十亿分之一的事，一个月会发生八次。所以一件事再离奇、被报道得再多，都几乎不告诉你世界是什么样。他的例子极端到荒唐：2017 年美国那一波针对犹太机构的炸弹威胁，最后查出主要是一个住在以色列的、可能长着改变人格的脑瘤的犹太少年干的。他写道，如果事前有人提出这个假说，你会觉得这人在无耻地找借口——「然而，事实就是如此」。他由此得到一个漂亮的悖论：
The paradox of news is that by design, the more you read, the less you might know, by accumulating an ever greater arsenal of facts and examples which are (usually) true, but whose interpretation bears ever less resemblance to reality. 新闻的悖论在于，按其设计，你读得越多，可能知道得越少——你积累起一座越来越大的事实与例子的军火库，它们（通常）都是真的，但对它们的解读与现实的相似度却越来越低。 《Littlewood’s Law and the Global Media》
他甚至想过一份「按比例的报纸」：如果一桩谋杀值一个头条，那么少了五十桩谋杀的一年就该有五十个头条；如果你写一页讲某人声称 X 治好了他的头皮屑，那你就必须写一百页去讲那个 n=100 的、显示 X 没用的研究——「这才公道嘛，那个研究可是由一百条轶事组成的。」
用制度来对付自己，而不是靠自律。他知道一个人长期收集证据最大的危险是把自己洗脑成功，所以他抄了达尔文的黄金律（一遇到与自己结论相悖的事实就立刻记下来，因为这类事实比顺心的更容易从记忆里溜走），并给出了自己的版本：唯一的解药是勤勉地把批评也收进来——这样就算你没能免于自我洗脑，至少你的读者还有机会。他的成稿检查清单里写着：凡用到「significant」（显著）必须补上「statistically」以免混淆效应量和统计显著；凡用统计必须重跑一遍代码验证可复现；禁用「obvious」（显然）这个词——「如果它真的显然，我为什么还要说？」他给每篇文章挂把握程度标签，用他自己写的排序工具给全站文章的重要性排十分位。他在页脚放了个匿名反馈框，两年后回来统计：754 天里收到 116 条，其中纠错 34、夸奖 31、批评 9、还有「求网络性爱」1 条、「敲诈」1 条。连别人对他的骚扰，他都要做成一张频次表。
他体验到的写作，跟大多数人不一样。他说别人卡在空白页的暴政，而他从来没有这个问题，因为段落是自己找上门的：像耳虫或者侵入性思维一样，一个句子在脑子里循环播放，直到他把它写下来才肯走。
I don’t experience the ‘tyranny of the blank page’, so much as the ‘tyranny of transcription’…I am simply an amanuensis for the voice in my head…I am apparently so disagreeable that my brain can’t stop arguing with itself. 我经历的不是「空白页的暴政」，而是「转录的暴政」……我不过是脑子里那个声音的听写员……看来我这个人实在太爱抬杠了，以至于我的大脑没法停止跟自己吵架。 《About This Website》
最锋利的那条批评是他自己写下的，所以先给他。关于他全部的自我实验，他在页面上放了这样一段免责：一个实验可能是错的、有缺陷的、或者只是运气不好（缺乏内部效度），也可能是对的但对别人毫无意义（缺乏外部效度）。他举的例子是酒精：他可以做几百轮完美的盲法随机实验，非常确定酒精让他情绪低落——而这对一个从没喝过酒的人来说，等于零信息。「如果你打算太当真地对待这些实验，请记住这一点。」
但这段自陈还不够狠，还有一层他没有明说：他要求世界拿出的证据等级，他自己那部分产出经常达不到。他的白天版莫达非尼实验只有 8 天，而且用的是主观评分，他自己评价「这不是我最好的实验」；诺欧匹（Noopept）那次他直接算出功效只有约 26%，「这个实验太小，无法可靠地检测出任何效果」。用他自己那把刀——功效不足的小样本研究是噪音制造机——他自己那批自我实验里，能站住的没几个。他知道，也写下来了，然后继续做，而且这些页面至今是全站最受欢迎的一批。这里有一个他没有解决的张力：他把统计纪律用在拆别人的结论上极其有效，用在他自己想知道的那些私人问题上，样本量根本不够。
第二条关于 scaling 那次胜利怎么读。把「谁在 2020 年看对了」当作方法论的证据，会漏掉一件事：同一套直觉，让他在 2004 到 2010 年整整六年里把同一件事看错了。他自己写下了这一点——「2020 年，我不得不承认，我错了，他们对了」——这是很有分量的诚实。但那篇文章的收尾语气是「向狂热者致敬，让批评者蒙羞」，出自一个刚刚承认自己当过六年批评者的人。我们记住的永远是押中的那一注；这个站上还挂着几百页别的预测，其中相当一部分我们不会去回头对账。他自己想出的解药（给文章挂可证伪的长期预测，让时间判卷）恰恰是对的解药——只是那些账还没结完。
第三条是他那套相关性虚无主义的代价。如果相关性预测随机试验的能力接近抛硬币，而随机试验绝大多数人绝大多数时候跑不了，那么剩下的可行动的知识就少得可怜——这套教义容易滑向一种什么都不信的瘫痪。而更要紧的是：他在智商遗传、胚胎筛选这类题目上给出的结论，恰恰重度依赖大规模关联研究。他对此有具体的辩护（这类研究的多基因评分能在样本外预测越来越多的方差，跨队列、跨国家、跨时代的遗传相关很高，而且在同胞之间的家系内比较里也成立——家系内设计正好能挡掉他自己最担心的那种混杂）。这是一个真回应，不是搪塞。但它也说明，那把酸并不是均匀泼向所有领域的，而哪里泼、哪里不泼，多少跟他相信什么有关。
最后是匿名。他给的理由很难反驳：匿名让人没法报复你——不能往你家寄海洛因、不能报假警把特警队引到你门口；而更大的好处是「你至少能获得被听见的机会，不会因为你的出身背景就被当场划掉」。这是真的，而且对一个没有学位的人来说尤其真。但代价同样真实：一个把「一切都可核查」当成信条的站——每条外链都存档、每段统计都附代码、每个结论都挂着把握程度——它唯一不可核查的那一项，是作者本人。他的可信度百分之百建立在他自己的记录上，没有机构在他背后担保，也没有机构在他出错时纠正他。这既是这个站最了不起的地方，也是它唯一的结构性弱点，而且这两件事是同一件事。