English →
博客精读 · 34 · gracewlindsay.com

Grace W. Lindsay
每当一个智能测试被解决,它就不再算智能测试了——她一生在跟这个后退的靶子较劲

Grace W. Lindsay(本页按她的署名用英文名)· 博客名 Neurdiness(她自造的词,neuro + nerdiness,「神经呆气」)· 现任纽约大学心理学与数据科学助理教授 · 原址 neurdiness.wordpress.com,现 301 跳转到 gracewlindsay.com · 2012 年 9 月 3 日开写,sitemap 共 36 篇正文,到最近一篇为止跨度十二年四个月 · 全站免费,无付费墙,有评论区 · 产量极不均匀,这本身是重要信息:2012 年 9 月到 2013 年 5 月这九个月里写了 26 篇(几乎周更,当时她是博一学生),之后四年多只有一篇(2015 年一条播客公告),2017–2018 年回来写了 5 篇,2021 年之后 4 篇 · 明显转折有两个:2013 年 5 月的断崖(她进入博士正题),以及 2017 年回来时腔调整个换了——从面向大众的科学普及,换成在自己本行的争论里站位 · 博客基本停更:最近一篇是 2025 年 1 月 24 日。但她没停笔,写作主力移到了 The Transmitter(最近一篇 2025 年 10 月 13 日)和 2021 年那本书 · 本页通读 16 篇博客正文 + 5 篇她的站外署名文章,跨度 2012 年 9 月 3 日至 2025 年 10 月 13 日:最早期(2012-09 至 2013-05,该站前 20% 时间跨度内)读了 9 篇,2013 年断崖与 2017 年回归两个转折的两侧均有覆盖 · 选文以她自己 Neurdiness Blog 首页和 My Writing Elsewhere 两页上挂出来的篇目为主序(作者本人说「该读什么」优先于传播量),辅以站内回链(她 2018 年那篇最长的文章反向引了自己 2012 年的两篇)与站外关注度 · 需要说明:她 2021 年的书 Models of the Mind 本页没有读过,只读了她自己的书讯页和她为 Brains Blog 写的那篇写书自述,涉及该书处已标明;第六节引用的批评文献,本页读到的是期刊页上的摘要全文,不是靶文全文,该处亦已标明

1739 年的巴黎人排队去看一只会消化的鸭子。

这只金鸭子是发明家 Jacques de Vaucanson 的作品,站在底座上,会叫。你把饲料粒递到它嘴边,它会啄起来、一口吞下。过一会儿,它从后面排出一坨绿色的、带颗粒感的东西。Vaucanson 1782 年去世,人工消化先驱的名声完好无损。

六十年后,魔术师 Jean-Eugène Robert-Houdin 弄到了这只鸭子,想修一修。他把它拆开,发现它根本没有消化道。喂进去的饲料粒进一个容器,预先装好的、染成绿色的面包屑从另一个容器出来。

Grace Lindsay 在 2018 年用这只鸭子开了一篇文章的头,那篇文章问的是:现在的人工智能像不像大脑,我们又凭什么说得清?她接着写了一句话,这句话是她整个思想的轴:

An intuitive response to hearing about Vaucanson's cheat is not to say that the duck is doing digestion differently but rather that it's not doing digestion at all. But a similar trend appears in AI. Checkers? Chess? Go? All were considered formidable tests of intelligence until they were solved by increasingly more complex algorithms. Learning how a magic trick works makes it no longer magic, and discovering how a test of intelligence can be solved makes it no longer a test of intelligence.听说 Vaucanson 作弊之后,直觉反应不是说这只鸭子在用另一种方式消化,而是说它根本没在消化。但人工智能里出现了一个类似的趋势。跳棋?国际象棋?围棋?在被越来越复杂的算法解决之前,每一个都被当成智能的严峻考验。知道一个魔术是怎么变的,它就不再是魔术;发现一项智能测试可以怎么被解决,它就不再是一项智能测试。Planes don't flap their wings: does AI work like a brain?,Aeon,2018

这不是一句俏皮话,这是她的根问题。她想知道:「理解大脑」这个靶子,有没有可能在被击中的那一刻自动后退?她十三年前就在写同一件事了。2012 年 12 月,她去听了一场纪念图灵百年诞辰的会议,回来写:

Somehow in the process of understanding thought, we seem to discredit any thought processes we can understand. […] We may miss the opportunity to explain thought because we are too afraid of explaining it away.不知怎么的,在理解思维的过程中,我们好像会取消任何我们能理解的思维过程的资格。[……] 我们可能会错过解释思维的机会,因为我们太怕把它解释没了。Thoughts on thinking,2012-12-17

她对付这个后退的靶子,用的是一个很笨也很狠的办法:去把靶子立在哪儿的那句话找出来,照着原文量。

2018 年她写了一篇一万多英文词的长问答,为「用卷积神经网络当视觉系统的模型」这件事辩护。辩护里最关键的一步不是技术论证,是考古:她回去翻视觉科学家在深度学习火起来之前写下的、关于「什么才算一个好的视觉系统模型」的句子。她找到 Pinto 等人 2007 年的原话——理解大脑的物体识别方案,需要构建人工识别系统,而一个能工作的系统本身就是成功的有效度量。然后她下了判决:

From this perspective it's clear that CNNs do not represent a moving of the target in vision science, but more a reaching of it.从这个角度看很清楚:卷积网络不是把视觉科学的靶子移走了,而更像是击中了它。Deep Convolutional Neural Networks as Models of the Visual System: Q&A,2018-05-17

同一篇文章里她做了一个比这更漂亮的动作。所有人攻击这类模型的方式都是数它缺什么,于是她自己先把这份清单列到最全——脉冲、眼跳、兴奋与抑制细胞分离、动力学、反馈连接、跳层连接、振荡、树突,文中到这里她插了一句「[***吸一口气****]」,然后继续:皮层分层、神经调质、中央凹、侧向连接、不同细胞类型、双眼视、适应、噪声,以及「大概还有你最喜欢的那个大脑细节」。

列完,她不反驳这份清单,她取消它的资格:没有任何模型应该是对象的完整复制品;我们不能先验地断定任何一条生物特征是必需的,也不能因为模型缺了它就说模型是坏的。这是个经验问题。

然后她把审计的方向整个翻过来:

11. What do CNNs do that the visual system doesn't do? This, to me, is the more relevant question. Models that use some kind of non-biological magic to get around hard problems are more problematic than those that lack certain biological features.11. 卷积网络做了哪些视觉系统不做的事?在我看来这才是更相关的问题。那些用某种非生物的魔法绕过难题的模型,比那些缺了某些生物特征的模型更有问题。同上

缺东西不算作弊,偷东西才算。于是她逐条点名:卷积权重共享——同一个特征图上不同位置的神经元用完全相同的输入权重,而真实大脑里不存在一种「超距作用」(spooky action at a distance) 保证所有权重同步;最大池化——相当于一个神经元的放电率等于它所有输入里最高的那个,而真实神经元几乎做不到这件事,更可疑的是它原本是「取平均」,改成「取最大」纯粹因为性能更好。这就是鸭子的检查方法:不看它排出什么,看它肚子里有没有管道。

这把尺子最后指向了她自己这一行。神经科学家每天用降维、解码、调谐曲线这些工具去读神经活动,然后宣布大脑在做什么。可是没有人测过这些工具到底灵不灵。她在 2022 年提出了一个干净的解决办法:拿人工神经网络当校准台。因为在人工网络里你有标准答案——每个权重、每次激活、每条因果路径你都能完整看见。把神经科学的分析工具放上去跑一遍,看它们能不能把你已经知道的东西找出来。

Despite the fact that these tools shape the progress of the field as a whole, we have little empirical evidence that they are effective at quickly identifying the phenomena of interest.尽管这些工具塑造了整个领域的进展,我们几乎没有经验证据说明它们能有效地、快速地识别出我们关心的现象。Testing the Tools of Systems Neuroscience on Artificial Neural Networks,arXiv,2022

注意这是对前一个想法的完整翻转:在 2018 年,人工网络是大脑的模型;在 2022 年,人工网络是神经科学那台测量仪的校准件。她用同一个东西做了两件相反的事,而两次的理由是同一个:我们判断「理解了」的标准,自己从来没被检验过。

2025 年 1 月,她写了一篇跟神经科学完全无关的文章,但用的是同一把刀。那年的科技热词是「agentic AI」(有能动性的 AI),同时第二届特朗普政府开张。她把两件事并在一起看:硅谷在拼命给机器装能动性,而政治在拼命从人身上拆掉能动性。她自己承认人生有很长一段时间完全没有「行动者」的感觉,只是在观察——她在玉米地环绕的郊区长大,「那里没人做任何要紧的事,所以我也没指望自己会」。然后父亲在她博士毕业前去世,疫情来了,书出版后有年轻人告诉她这本书改了他们的职业。她决定接受「行动者」这个身份,并且立刻发现这个身份的代价:

With agency comes responsibility. If you have the power to change the world then why aren't you? 'Can' quickly becomes 'ought'. […] If modern AI agents had to experience true agency, with the moral weight that is intrinsically tied to it, their chains of thought would snap under the pressure.能动性带来责任。如果你有改变世界的力量,那你为什么不去改?「能」很快就变成「该」。[……] 如果现在的 AI 智能体真要体验一次真正的能动性,连着那份内在的道德重量一起,它们的思维链会在压力下绷断。2025: Agency gained and lost,2025-01-24

这是鸭子的最后一次出场。一个东西看起来在做某件事,不等于它在做那件事——这句话她在 2018 年用来替模型辩护,2025 年她用来给模型定罪。标准没动,只是这一次,达标的那一方是人。

更新记录