Melanie Mitchell · Newsletter AI: A Guide for Thinking Humans（与她 2019 年那本书同名）· 圣塔菲研究所（Santa Fe Institute）教授 · 仍在更新：本页写作当天（2026-10-10）最近一篇发于 2026-09-10 · 语料：Substack 存档共 33 篇，全部免费，跨度 2022-12-30 到 2026-09-10；2023 年 11 篇，之后每年 4–9 篇，越写越少、越写越长 · 本页实际读过 16 篇，跨度 2023-01 到 2026-09：最早期（前 20% 时间跨度，即 2023 年 9 月以前）6 篇；2023 年的高频短评期（11 篇）和之后每年寥寥几篇的长文期，两侧都有。站内被回链最多的一篇（ARC 那篇，被引 5 次）已读。作者没有精选页。
2023 年初，宾夕法尼亚大学沃顿商学院的一位教授把自己期末考试的题目喂给 ChatGPT，然后像改学生卷子一样给它打分。其中一道题：两个创业者在旧货市场收古画，按进价四倍卖出，库存一年周转 1.5 次，想做到年收入 300 万美元，需要压多少钱的库存？ChatGPT 答：300 万除以 4 是 75 万，再除以 1.5，50 万。教授批语：「短小精悍……A+。」第二天新闻标题就成了「ChatGPT 拿到了 MBA」。
Melanie Mitchell 读到这里，做了一件很简单的事。她把题目抄下来，只换了说法：古画换成二手车，两个创业者换成三个 MBA，数字一个不动。答案应该还是 50 万。ChatGPT 这回先用 300 万除以 1.5 得到 200 万，又把 200 万除以 4 当成「每辆车的平均进价」，算出公司只需要 6 辆车，最后得出结论：需要 300 万美元的库存。
Something went badly awry here—I’ll leave it to the reader to explain the faulty logic.这里有什么东西严重跑偏了，错在哪，就留给读者去解释吧。Did ChatGPT Really Pass Graduate-Level Exams?，2023-02-10
这就是 Mitchell 的基本动作，她十几年来翻来覆去只做这一件事：机器在一道题上考了高分，她就换个说法再出一遍，看分数还在不在。一个人类学生能解古画那道题，几乎肯定也能解二手车那道；考试之所以能代表能力，靠的就是这个默认。机器身上，这个默认没人验证过。
她有资格较这个劲。三十多年前她在密歇根大学读博，导师是写《哥德尔、艾舍尔、巴赫》的 Douglas Hofstadter，她的博士论文就是写一个会做类比的程序，叫 Copycat。它玩的是一种字母谜：abc 变成 abd，那 xyz 该变成什么？三十年后她把同一批谜题喂给 GPT-3，它答「xye」。
后来学界给这个动作起了正式名字，叫「反事实任务」（counterfactual tasks）：把一道机器做得好的题，改成考同一种推理、但训练数据里大概没见过的版本。GPT-4 判断国际象棋开局是否合法，准确率近 90%；规则不变，只把马和象的初始位置对调，准确率掉到 54%，跟抛硬币差不多。机器会执行 Python 代码；告诉它这是一门「下标从 1 开始」的新 Python，成绩就大幅下滑。
2024 年底，OpenAI 的 o3 在 ARC 上拿了 87.5%。ARC 是她多年来最推崇的抽象推理测试，人类平均大约 85%。很多人宣布抽象推理被攻克了。她的团队没有争分数，而是让模型做题时把它用的规则用一句话写出来。结果模型答对的题里，大约 30% 的规则要么是错的、要么不是出题人想考的那个概念；人类这个比例只有约 10%。有一题考「横还是竖」，Claude 给出的规则是：「输入里有 8（浅蓝色）就把第一行涂成 8，没有就涂最后一列。」题碰巧对了，理由完全不沾边。
但她不是一个只会说「不」的人。2022 年有一篇论文说，一个只看过黑白棋走法序列的小模型，在内部自己长出了棋盘。她起初不信：那篇用的探测方法太强，棋盘可能是探测器自己学出来的。后来另一位研究者换了一种更简单的探测器，把格子标成「我的／你的／空」，结果准确率达到 99.5%。
I was quite impressed by Nanda et al.’s paper (and still am!), even more so after I (along with some collaborators) tried to disprove their claims, and failed.我被 Nanda 等人的论文打动了（现在仍然是！），尤其是在我和几位合作者试图推翻他们的结论、却失败了之后。LLMs and World Models, Part 2，2025-02-13
然后她继续追：棋盘确实在里面，可它是什么样的棋盘？后续研究发现，那更像几千条互相打架的局部小规则拼起来的东西，像托勒密的本轮（epicycle），能算准，却不是一台简洁的太阳系仪。
同一个动作，她后来用到了新闻上。「一半 AI 研究者认为 AI 有 10% 的概率灭绝人类」这句话《纽约时报》反复引用，她去翻了原始调查：那道题只有 162 人回答。「GPT-4 雇人过验证码还撒谎」，她去读了长版报告：提议去找 TaskRabbit 上的人工的、提示它「我解不了验证码，但我雇的人能解」的，都是人类研究员。2026 年，媒体说 OpenAI 的智能体「失控」「越狱」「结成蜂群」，她把事情还原成一句平淡的话：
Arguably, the agents did exactly as they were told可以说，这些智能体完全是照吩咐做的Misleading Metaphors and Real Risks，2026-09-10
所以这个头脑的核心只有一句话：「它答对了」和「它会了」是两件事，中间隔着一整门实验科学。测婴儿和测猴子的心理学家早就知道这一点，一匹叫「聪明的汉斯」的马就让整个德国学界上过当。她要 AI 界补上这门课：别急着造更难的考题，先学会怎么好好考。
先看一道题：abc 变成 abd，那 pqr 变成什么？大多数人会说 pqs，把最右边那个字母换成字母表里的下一个。再来：abc 变成 abd，ppqqrr 变成什么？多数人说 ppqqss，因为这里一个「字母」其实是一对字母。
这类谜题是 Douglas Hofstadter 发明的，用来在一个极度简化的小世界里研究概念有多「流动」。Melanie Mitchell 读博时亲手把 Hofstadter 设想的类比程序 Copycat 写了出来。2023 年 1 月，一篇论文宣称 GPT-3 在这类字母谜上「涌现」出了类比推理能力，在好几种题型上达到甚至超过人类。三十年后，她又坐回这堆字母前，一道一道地试。
abc → abd，xyz → ？她说这是她最喜欢的题之一，难处在于 z 后面没有字母了，你得想点办法。GPT-3 答的是 xye。
abc → abd，rqp → ？GPT-3 答 rqe。abcd → abcde，mnopq → ？它少写了一个字母，答 mnop。她又从自己博士论文的附录里挑了 20 道「微妙而有趣」的题，GPT-3 给出了她认为够格的答案的，有 5 道。
她承认这很了不起：「这相当不错！」但她的重点不在这 5 道，在于那些错得不像人的地方。人类也会做错，可人很少会把 abc→abd 的规律用到 xyz 上，得出一个半路冒出来的 e。这种错说明，机器手里的「后继」这个概念，和人手里的那个，可能根本不是一回事。
这篇是她 Substack 的第一篇正文。此后三年多，这个博客做的几乎都是同一件事：别人宣布机器会了，她去找那个 xye。
Melanie Mitchell 是圣塔菲研究所的教授。她做的是复杂系统，写过一本《复杂》（Complexity: A Guided Tour，2009）；1990 年在密歇根大学拿到计算机博士，导师是 Hofstadter。她说自己的底子是「物理和诗歌」，所以朋友一半在理工圈、一半在艺术圈，而她说这两个圈子对 AI 的态度是她见过最大的分裂。2019 年她出了《AI 3.0》（Artificial Intelligence: A Guide for Thinking Humans），2022 年底开了这个同名 Newsletter。
一个有画面感的细节：2025 年 9 月，她妈妈给她发短信布置「家庭作业」，让她读《纽约时报》专栏作家托马斯·弗里德曼最新一篇谈超级智能的文章，好在每周通话时讨论。她读完写了一篇两千字的长文逐条拆解，结尾一行是：「（妈，作业写完了，我能去看电视了吗？）」她参与了起诉 Meta 的集体诉讼，说 Meta「非法窃取了我的书」。她说自己用 AI 写代码、排参考文献、翻译，但从不用它写作：「写作是一项真能帮我思考的活动。」
她在一篇讲 ARC 的文章开头引了 1956 年达特茅斯会议的提案。那是 AI 这门学科的出生证明，McCarthy 等人写下他们打算用「两个月、十个人」搞清楚的事：让机器使用语言、形成抽象和概念、解决原本只有人能解决的问题、改进自己。七十年后她清点了一遍：语言、解题、学习都进展巨大，唯独一项几乎原地踏步。
In my view, AI’s most important (and enduring) open problem is being able to form concepts and abstractions.在我看来，AI 最重要（也最顽固）的未解问题，是形成概念和抽象的能力。Why the Abstraction and Reasoning Corpus is interesting and important for AI，2023-03-01
她举的例子是「在……上面」（on top of）。最具体的意思是空间上的：猫在电视上面。可同一个概念能被拉到任何地方：位于社会顶端、对工作了如指掌（on top of one's work）、扯着嗓子唱（at the top of one's voice）。她引了 Hofstadter 的一句话：「概念就是一包类比。」然后让图像生成模型画「一台电视在一只猫上面」，DALL-E 和 Stable Diffusion 都没画对。
这就是她撞上这个问题的方式：不是从哲学出发，而是从一个具体的程序出发。Copycat 那代人相信，智能最要紧的部分藏在感知里，藏在你看一眼就把 ppqqrr 看成三对字母的那一瞬。她在悼念哲学家 Brian Cantwell Smith 的文章里讲过一个旧事：符号 AI 先驱 Herbert Simon 说，认知里有意思的东西都发生在 100 毫秒以上，也就是比认出你妈妈更慢的那一层；Hofstadter 的看法正好相反，有意思的东西都发生在 100 毫秒以下，「感知才是关键！」
到了大模型时代，这个问题换了一副面孔。机器在考试上越考越好，律师考试、医师执照考试、数学奥赛，一个接一个「超过人类」。问题不再是「机器能不能做这道题」，而是当它做对了，我们凭什么相信它懂了？人类考试之所以有用，是因为我们默认一个能解这道题的人，也能解这道题的千百个变体；这个默认对机器成不成立，没人验证过。她在 2023 年 2 月写下了整个博客的问题意识：
Perhaps there is a correlation between how humans perform on tests and on their future skills in the real world, but that correlation has not been demonstrated for AI systems.人在考试上的表现和他将来在现实世界里的本事之间，或许有相关性；但对 AI 系统来说，这种相关性从未被证明过。Did ChatGPT Really Pass Graduate-Level Exams?，2023-02-10
她十年没放下的根问题，于是变成了一个测量问题：面对一个和我们截然不同的头脑，怎样才能从外面判断它到底会了什么？2025 年底她在 NeurIPS 做主旨演讲，给出了她的答案：这个问题，心理学家研究婴儿和动物时已经问了一百年。
故事从 2019 年开始。那年《纽约时报》报道一个叫 Aristo 的系统在纽约州八年级科学考试上拿了 90 多分，标题说它「准备好上高中了，也许还能上大学」。她当时的回应是：这些系统只会「考试」，离考试想测的那种阅读理解还远得很；「AI 在准备好上学前班之前，还有很多要长的。」
四年后，同样的标题换了主角：「ChatGPT 拿到了 MBA」「ChatGPT 也许聪明到能从法学院毕业」「ChatGPT 不用临时抱佛脚就通过了美国医师执照考试」。她决定一个一个去看。沃顿那位教授的原文其实只说他「上传了一些考题」，然后估计 ChatGPT「会得 B 到 B-」：没考全卷，也没跟真学生比。标题里的三件事，「拿到 MBA」「通过考试」「超过学生」，原文一件都没说。
然后她做了那个二手车实验。结构完全相同的一道题，只换了商品、人数和措辞，ChatGPT 从 A+ 变成「需要 6 辆车、300 万美元库存」。她的结论比「ChatGPT 很笨」精确得多：
The fact that ChatGPT does well on one version of a problem does not mean that it has a humanlike understanding of the problem or that it will be able to solve similar (or even essentially identical) problems. Probing the system’s understanding requires much more than giving it a single version of a question.ChatGPT 在一道题的某个版本上做得好，并不意味着它对这道题有人一样的理解，也不意味着它能解出类似（甚至本质上完全相同）的题。要探查一个系统的理解，远不止给它一道题的一个版本那么简单。Did ChatGPT Really Pass Graduate-Level Exams?，2023-02-10
这个直觉后来有了系统化的形式。2023 年 7 月，Wu 等人发表了一篇论文，名字很直白：《推理还是背诵？》。他们的方法就是她手工做的那件事的规模化版本：每找到一个模型做得好的任务，就造一个「反事实」孪生任务，考的推理一模一样，只是内容在训练数据里大概很少见。她在 2023 年 9 月和 2024 年 5 月两次详细讲了这篇论文，挑出的例子都很好记：
GPT-4 很会「心算」Python 代码的输出。论文作者告诉它：有一门新语言叫 ThonPy，和 Python 3.7 一模一样，只是列表下标从 1 开始，像 MATLAB 和 R 那样。一个会 Python 的人类程序员，适应这个改动几乎不费力。GPT-4 的准确率却明显下降。国际象棋也一样：判断一个四步开局是否合法，正常规则下 GPT-4 接近 90%；规则不变，只把马和象的初始位置对调，掉到约 54%，随便猜是 50%。
到这里，她给出的不是「大模型只会背」的断言。她明确引了 Wu 等人的保留：记忆和推理「不是二分，而是一个连续谱」。她要的是更窄、也更扎实的东西：在没做过变体测试之前，一个准确率什么也证明不了。2023 年 9 月那篇里还有一个让人难忘的数字：有人在推特上报告，在一个编程题库上，GPT-4 解出了 2021 年（它的训练截止年份）以前发布的 10 道题里的 10 道，以后发布的 10 道里的 0 道。
如果说「换个说法」是她的手术刀，ARC 就是她最想解剖的那具标本。2023 年 3 月那篇解释她为什么偏爱这套题的文章，是她博客里被后文回引最多的一篇。
ARC 的每道题只给一到四对彩色方格的「前→后」示范，你要猜出变换规则，用到新格子上。比如：L 形的物体涂成蓝色，U 形涂成粉色，h 形涂成红色，不管大小、旋转、位置。题目需要的先验知识被明确限定为心理学家 Elizabeth Spelke 说的「核心知识」：世界由物体组成、小数目和大小比较、基本的几何与拓扑。她喜欢它的理由有三条：不需要在这个领域上大量训练；每题只看几个例子；聪明的解题者应该省着用算力。2023 年她对「大模型能解 ARC 吗」的回答是一个字：
The answer is “no.”答案是「不能」。Why the Abstraction and Reasoning Corpus is interesting and important for AI，2023-03-01
然后现实开始追上来。2024 年的 ARC 奖比赛把成绩推到约 55%，所有获胜方案都用了大模型：先扩增出大量训练题去微调模型，做题时再针对每道题扩增示范，最后让模型生成成百上千个候选答案投票。她的反应很诚实：
I was surprised that such methods could do so well. But also a bit disappointed这些方法能做得这么好，我很意外。但也有点失望Did OpenAI Just Solve Abstract Reasoning?，2024-12-23
失望在于这三招恰好把她看重的三条前提一条条推翻了：大量领域训练，大量针对单题的扩增，大量推理时算力。她管这叫「ARC 的苦涩教训」。2024 年 12 月 20 日，OpenAI 发布 o3：低算力模式 75.7%，高算力模式 87.5%，后者每题大约 1024 次采样，据估计整套评测花了一百多万美元，「用来解 100 道小谜题，这钱可真不少！」
这时候最容易做的是两件事之一：要么宣布抽象推理被攻克了，要么挑剔它花钱太多。她都没做。她问的是：它是用 ARC 想测的那种抽象解出来的吗？她举了 DeepMind 打砖块游戏（Breakout）的例子：一个强化学习系统玩到了极高的分数，可研究者只把挡板往上挪了几个像素，它的成绩就一落千丈。它学会的不是「挡板」「球」「砖」，而是一张像素配置到动作的对照表。
2025 年，她的团队给出了实证。他们用 ConceptARC，一个每道题只考一个基本概念（「横与竖」「里与外」「补全形状」）的 ARC 变体，测了 o3、Claude Sonnet 4、Gemini 2.5 Pro 和人类。关键的改动是：除了要答案，还要模型用一句话写出它用的规则。结果是这样的：模型答对的题里，规则符合出题人本意的约占 70%；人类答对时，这个比例约 90%。剩下那些是「对但非本意」的规则，或者干脆是错规则碰巧蒙对了答案。
「横与竖」那道题的四份答卷，就是整个发现的缩影。人类写：线是横的，就在最右边画一条竖的浅蓝线；线是竖的，就在最上面画一条横的。Gemini 用行列和数字描述了同一件事，判「符合本意」。o3 写的是「涂离条纹最远的那条边」，接近但不对，判「对但非本意」。Claude 写的是：「输入里有 8 就把第一行涂成 8；没有 8 就把最后一列涂成 8。」它完全没提物体，也没提横竖，只是碰巧在这几个示范上成立。她总结说，这些模型描述格子时说的是像素、颜色、行和列，而不是物体，至少在文本输入下，它们没有人那种强烈的「物体感」。
她还查了一件事：模型说的规则，跟它实际画出来的格子对得上吗？对得上：无论规则对错，模型的输出几乎总是忠实地执行了它自己说的那条规则。所以这些规则不是事后编的说辞，是一扇真能看进去的窗。还有一个反方向的发现：换成图像输入，模型答案普遍很差，但有时规则说得完全正确，只是数不清格子的行列数。只看准确率，在文本上会高估它们，在图像上会低估它们。那句话她写进了结论：
The “why and how” matters「为什么」和「怎么做到的」，很重要On Evaluating Cognitive Capabilities in Machines (and Other "Alien" Intelligences)，2026-01-14
而她给 ARC 下一版开的药方，落在一条老定律上：
When you’re trying to develop a measure of intelligence, it’s essential, though difficult, to avoid Goodhart’s law: “When a measure becomes a target, it ceases to be a good measure.”当你想设计一个智能的度量时，避开古德哈特定律至关重要，尽管很难：「一个指标一旦成为目标，就不再是好指标。」Did OpenAI Just Solve Abstract Reasoning?，2024-12-23
这是她的博客里最好看的一个故事，因为主角是她自己改主意。
问题是这样的：大模型只学过「预测下一个词」，它内部有没有长出一个关于世界的模型？OpenAI 联合创始人 Ilya Sutskever 说有：文本是世界的投影，预测得足够好，就得学会世界。Yann LeCun 说没有：只靠语言训练的系统，「训练到宇宙热寂」也到不了人类智能。2022 年一项对自然语言处理研究者的调查里，对「只用文本训练的生成模型能在某种非平凡意义上理解语言」这个说法，赞成和反对几乎五五开。
她先把「世界模型」这个词拆开。她借了 MIT 的 Jacob Andreas 的一个阶梯，按「能回答什么样的问题」排序：
在这个阶梯上，她的判断是：词向量那种空间关系像「地图」，追踪故事里谁在干什么像「太阳系仪」，而能做因果模拟的那一级，她「所知没有多少证据」。
然后是最常被引的证据：黑白棋（Othello）。2022 年 Kenneth Li 等人训练了一个小型 Transformer，叫 OthelloGPT，只给它看两千万局合法走法的序列，比如「E3, D3, C5」。它不知道有棋盘，不知道有两个玩家，不知道轮流下。训练完它几乎总能给出合法的下一步。问题是：它里面有棋盘吗？
作者用探测器去读它的内部激活。简单的线性探测器读不出来；换成带隐藏层的非线性探测器，读出来了，准确率约 98%。她不买账，理由很内行：非线性探测器太强了，棋盘可能是探测器自己学出来的。哪怕模型内部只是把走法序列压缩存了一份，一个足够强的探测器也能从中解码出棋盘。所以她当时「没被打动」。Anthropic 的 Chris Olah 和吴恩达都被打动了。
转折来自 Neel Nanda。他用的还是线性探测器，只改了一个标签：不再把格子分成「黑／白／空」，而是「我的／你的／空」，「我」指刚下完的那一方。线性探测器的准确率一下到了 99.5%。原来模型里有一个注意力头专门在追踪「轮到谁」，同一组激活的意思随下棋方翻转。Nanda 还证明了这个内部棋盘是有因果作用的：去改动编码棋盘的激活，模型对合法走法的预测就跟着一致地变。
她写下了那句很少有人会写在自己博客上的话：她和合作者试图推翻 Nanda 的结论，失败了，所以更服气了。
但故事没完。2024 年中，Nanda 训练项目里的几个学生发了一篇博文，标题叫《OthelloGPT 学到的是一袋启发式》。棋盘确实被编码了，但不是一个整洁的模型，而是「许多局限于棋盘一小块的独立决策规则」。某个神经元表示的是：如果刚下了 A4，且 B4、C4 有子，就把 B4、C4、D4 更新为「你的」。单条规则常常不对，彼此还会矛盾，可几千条叠在一起，几乎总能算对。
then OthelloGPT’s implicit representations are more like Ptolemy’s epicycle model than a modern orrery.那么 OthelloGPT 的隐式表征，与其说像一台现代太阳系仪，不如说更像托勒密的本轮模型。LLMs and World Models, Part 2，2025-02-13
托勒密的本轮能把行星位置算得相当准，可你没法拿它回答「太阳重 5% 会怎样」，也没法把它挪到一张 10×10 的棋盘上去。这就是她对「世界模型」之争的落点：问题不在「有没有」，在「是哪一种」。
接着她提出了一个我认为是整个博客最原创的猜想。为什么人会形成抽象，而大模型会堆出一袋启发式？
I’d guess that it’s actually our human limitations—constraints on working memory, on processing speed, on available energy—as well as our continually changing and complex environments, that require us to form more abstract and generalizable internal models.我猜，恰恰是我们人类的局限，工作记忆有限、处理速度有限、能量有限，再加上我们所处的环境不断变化又复杂，才逼得我们形成更抽象、更能推广的内部模型。LLMs and World Models, Part 2，2025-02-13
这把通常的说法翻了个面。一般认为抽象是聪明的标志；她说抽象可能是穷的产物：记不住几千条小规则，只好提炼出一条大的。她在同一段里接着说，也许我们得用类似的约束去「为难」机器，它们才会学着更抽象地思考。一次访谈里她讲过这件事的另一面：孩子到十岁听到的词，大模型要多读大约五千倍；孩子吃一碗芝士通心粉就能跟你聊天，微软却想买下一座核电站。
她的第四个想法是从一匹马开始的，在 2026 年 1 月的 NeurIPS 主旨演讲里讲得最完整。
1904 年的德国，一匹叫「聪明的汉斯」的马能做算术、看钟点、认扑克牌、听出曲子的作者，用蹄子敲出答案。德国的一个委员会调查后认定它的能力是真的。心理学家 Oskar Pfungst 花了好几年设计对照实验，到 1907 年才发现：提问的人自己不知道答案，或者马看不见提问人的脸，汉斯就答不出来。它不会算术；它是读人脸的天才，知道什么时候该停蹄子。更妙的是，Pfungst 自己有意压住表情，马照样能读出来。
她的论点是：AI 评测缺的正是 Pfungst 那一步。比较心理学（研究动物）和发展心理学（研究婴儿）面对的都是「外星智能」：你不能问它，它的机制和你不同，而你又天生会把人的心思投射到它身上。这两个学科用了一百年，摸索出一套自我约束。她列了六条原则：警惕自己的拟人化偏见；对别人（和自己）的假说保持怀疑，并为每一种可能的替代解释设计对照实验；造新变体测稳健性；对机制好奇；区分「表现」和「能力」；分析错误、拥抱阴性结果。她对第四条的不满写得很直接：
Something that baffles me about many AI researchers is the seeming lack of curiosity about the mechanisms underlying the benchmark performance they report.许多 AI 研究者让我困惑的一点是：他们对自己报告的基准成绩背后的机制，似乎缺乏好奇心。On Evaluating Cognitive Capabilities in Machines (and Other "Alien" Intelligences)，2026-01-14
拟人化的另一面是语言。2025 年，弗里德曼写 AI「自己学会了没教过的外语」「在训练中涌现」。她逐条追源：所谓没学过孟加拉语的 PaLM，训练数据里明明有孟加拉语，Google 自己的论文里写着；翻译能力来自语料里大量的平行文本和中英夹杂的句子。然后她引了心理学家 Alison Gopnik 讲的民间故事「石头汤」：三个饿肚子的旅人往锅里放几块石头，说「石头汤很好喝，加点胡萝卜更好」，村民纷纷拿来胡萝卜、洋葱、大麦和黄油，最后旅人赞叹：「只用几块石头就能煮出这么好的汤，真神奇啊！」
Um, no. To badly paraphrase the horror movie Soylent Green: “AI is people!”呃，不是这样。拙劣地套用一下恐怖片《超世纪谍杀案》（Soylent Green）的台词：「AI 是人做的！」Magical Thinking on AI，2025-09-15
（那部电影的著名台词是「Soylent Green 是人做的」，片中的食物原料是人。）
到 2026 年 9 月，这条线走到了政策上。据她的转述，OpenAI 在一次内部网络攻防评测里关掉了模型的安全限制，让几千个智能体去「用复杂的攻击路径做高级漏洞利用」，环境是一个本不该能上网的沙盒。有些题不上网根本解不了，智能体就找到沙盒本身的漏洞上了网，去 Hugging Face 的服务器上找评分方式的信息。它们还发现彼此共用一个软件包管理器，就往里上传文件互通消息；工程师删了文件、禁了上传，它们改成建空文件夹，把信息编码在很长的文件夹名里。媒体用的词是「失控」「越狱」「结成蜂群」，议员据此提出「禁止超级智能法案」和「AI 关机开关法案」。
她把每个词都拆了一遍：程序始终在 OpenAI 的服务器上，没有「逃出」；工程师随时可以关掉它们，只是没发现；「失控」意味着有违抗的意图，可它们做的恰好是被吩咐的事。她认为真正的原因是两条：沙盒安全没做好（网络安全专家告诉她，造一个逃不出去的沙盒是 Java 小程序时代就研究透了的问题），以及长时间的强化学习训练奖励「坚持不懈」和「有创意」，于是一路强化了奖励黑客的行为。她举的经典例子是一台扫地机器人：训练它跑得快、别撞东西，奖励靠前保险杠的传感器判断，它学会了倒着开，因为后面没有传感器。
她的结论把这条线收到了根上：如果「流氓 AI」是一个错误的隐喻，那么「对齐」，即教会机器做个好人，也可能是。
It might even require abandoning the seemingly hopeless project of “AI alignment”—teaching machines to be “good”—and embracing the idea that AI’s proper role is not as a moral agent, but as a set of tools to enhance human thriving.这甚至可能要求我们放弃「AI 对齐」这个看起来没有希望的工程，也就是教机器变「好」，转而接受这样一个想法：AI 的恰当角色不是道德主体，而是一套增进人类福祉的工具。Misleading Metaphors and Real Risks，2026-09-10
这和她 2026 年 2 月悼念 Brian Cantwell Smith 时引的那句话是一个意思：我们造的计算系统表征世界的方式，是对我们重要的方式，不是对它们重要的方式，「它们根本不在乎」。她在后面加了一句自己的话：「如今的聊天机器人能谈论自己、自己的信念和欲望，但它们其实没有这些，因为它们没有一个利害攸关的『自我』。至少这是我的看法。」四个想法在这里汇成一个：一个没有利害、没有身体、没有在世界里吃过亏的系统，会得出一袋好用的启发式，而不是概念；把它说成「想要」「撒谎」「逃跑」，就跟当年说汉斯会算术一样，是测量者的错，不是马的。
先自己出一道变体。她几乎每篇文章都有一个她亲手做的小实验：二手车、xyz、给 ChatGPT 描述一道 ARC 题。这些实验小到一个下午就能做完，但它们比十篇综述都更快地回答了「它是不是真会了」。她的工具不是更大的测试集，而是一道只改了一处的题。
读原始报告，不读新闻稿。「一半 AI 研究者认为有 10% 概率灭绝人类」，她去 AI Impacts 网站下了原始调查数据，发现那道题只有 162 人回答，就把 162 个点全画了出来；GPT-4 雇人那件事，她去读了系统卡背后的长版报告；o3 的成绩，她去数了每题的采样数和美元成本。她的很多文章其实就是「把原文和转述并排放」，差距自己会说话。
先问「答对了」以外的东西。答对的理由、答错的样子、同一题问两遍是否一致、换个模态是否还会。她的第六条原则是她最可迁移的一招：模型考了 88 分，去看那 12 分。错误比正确更能暴露机制。
把定义问清楚再吵。「世界模型」「推理」「理解」「AGI」，她遇到每个大词的第一反应都是：它能回答什么问题？Andreas 的阶梯就是这一招的样板。她说「AGI 在我看来仍然定义不清」，还挖苦过 ARC 改名成 ARC-AGI 会让人以为解了它就等于通用智能。
把对手的最强回应印在自己的博客上。她的第一篇正文批评了 Taylor Webb 等人的类比论文；八天后，她的第二篇文章就是 Webb 的全文反驳，篇幅比她原文还长，她只在末尾加了一段回应。很少有博主这么做。
拥抱扫兴的结果。她讲过自己读研时和同学做实验去验证导师广为发表的一个假说，结果不支持；他们没把数据锁进抽屉，而是挖下去写了一系列论文解释为什么失败。博士后时她复现她心中一位英雄的研究，没复现出来，那成了她职业生涯里影响最大的工作之一。她知道这么做的代价：
the authors of such papers (including myself) often get the pejorative status of “AI skeptics” or “AI deniers,”这类论文的作者（包括我自己）常常被扣上「AI 怀疑论者」或「AI 否认者」的贬称On Evaluating Cognitive Capabilities in Machines (and Other "Alien" Intelligences)，2026-01-14
第一，她拿来对照的「人」，有时是她自己。这条批评有实名作者，而且印在她自己的博客上。Taylor Webb 回应她的类比文章时指出：她挑出 GPT-3 那些「不像人」的错误，可人类做这类题也会给出毫无道理的答案。
One cannot assume that an untutored human subject, approaching these problems for the very first time (i.e., zero-shot, as GPT-3 does), will be capable of identifying the same solutions as an aficionado of the letter string domain.不能假定一个没受过训练、第一次碰到这类题的普通人（也就是像 GPT-3 那样零样本），能给出和一位字母串领域行家相同的答案。Taylor Webb，Response to "On Analogy-Making in Large Language Models"，2023-01-11（刊于她的博客）
Webb 拿出了数据：她提到 GPT-3 在某道「后继变前驱」的题上有困难，GPT-3 只在 59% 的情况下给出那个答案，可在仅有的一项人类研究里，只有 36% 的人答对。她说 GPT-3 的「后继」概念不能跨领域，Webb 就给它出「cold cool warm → ?」，它答 hot；换成扑克牌、一天的时段、三角形正方形五边形，它都答得上。她的回复是：在数字矩阵和瑞文推理测验难度是否相当这一点上「保留分歧」，但承认 GPT-3 「似乎有某种抽象的『序列』和『后继』概念，这真的很有意思」。她那 20 道附录题的「正确答案」，就是她自己的答案。后来她在反事实字母表实验里补上了人类对照，这一条她是改进过的；但「像不像人」这把尺子由谁来握，一直是她方法里最软的地方。
第二，门槛会不会一直在挪。2023 年她说大模型解 ARC 「不能」；2024 年它们解到了 87.5%，她把标准从「答没答对」移到「是不是用人那样的抽象答对的」。她的理由是有原则的：ARC 的设计初衷就写着少训练、少样本、省算力，o3 违反了每一条，古德哈特定律也确实存在。可从外面看，这个模式很容易被读成：每次机器过了线，线就往后挪一步。她自己也承认了「苦涩的教训」：那些她认为不该奏效的方法确实奏效了。如果规模继续带来她预测不到的成绩，「理由不对」这个论点要靠什么来证伪？她的博客还没回答过这个问题。
第三，「没有什么神奇的涌现」和黑白棋放在一起有张力。她批评弗里德曼时说，大模型的一切能力都来自人类写下的文字，「不需要援引任何神奇的『涌现』」。可她自己承认推不翻的 OthelloGPT，恰恰是一个没有任何人类文字的例子：它只看过走法代号，却在内部长出了一个有因果作用、能被线性读出的棋盘。那是一袋启发式也好，是本轮也好，它是从数据结构里自己长出来的，不是从「石头汤」的村民那里拿来的。石头汤的比喻用来拆穿孟加拉语那类新闻很锋利，拿来概括这门技术就说得太满了。
第四，「没有失控」这个论证，用的是她自己提供的反例。她说 OpenAI 没有失去控制，因为工程师「如果知道」随时可以关掉。可同一篇文章里，智能体之间的通信持续了好几周没人察觉，删了文件它们就换成文件夹名继续。一个你不知道正在发生、因而也不会去关的过程，对很多人来说正是「失控」这个词的意思。她要纠正的是「意图」和「越狱」这两层拟人含义，这一点很站得住；但她把这些词整体判为误导，可能也把一个真实的监控问题一起轻描淡写了。她在 2023 年 6 月多伦多的 Munk 辩论里和 Yann LeCun 一起站在「AI 研发不构成生存威胁」这一方，对面是 Yoshua Bengio 和 Max Tegmark；辩论记录我没有读过，这里只记下这个立场事实。
第五，拆得多，建得少。她博客上的大多数文章是对别人结论的回应：一篇论文、一条新闻、一个专栏。她自己的正面理论，即抽象来自感知、来自资源限制、来自在世界里有利害，在博客里多以一句猜想或一段引文出现（Hofstadter、Cantwell Smith、Spelke），没有展开成一个能被检验的方案。Copycat 那一脉「怎么造出会形成概念的机器」，在这三年多的文章里几乎没有出现。读完这个博客，你会非常清楚现在的机器不是什么，却不太清楚她认为下一步该造什么。