English →
博客精读 · 21 · experimental-history.com

Adam Mastroianni
拦住最坏的,代价是拦住最好的

Experimental History · 140 篇 · 2022 年 1 月 1 日开站,此后基本每两周一篇,四年八个月从未断过 · 最新一篇 2026 年 9 月 15 日,仍在更新 · 单篇常在 2500 到 5000 词 · 约 19% 的篇目只对付费订阅者开放,其余全部公开免费,本页所据全部来自公开部分 · 本页通读 14 篇,跨度 2022 年 1 月至 2026 年 8 月,其中 6 篇落在开站后最早的 20% 时间段内 · 选文主干取自作者本人在 about 页列出的「最多人读的十一篇」,另按站内回引补入几篇他反复回头引用的文章

爱因斯坦一生只有一篇论文被送去做过同行评议。他的反应是勃然大怒,把稿子撤走,投给了另一家不这么干的刊物。

2022 年底,一个刚从哈佛拿到心理学博士学位的人把这件事挖出来,然后算了一笔账。他说,科学界过去六十年一直在拿自己做一场实验,实验的假设是「每篇论文都找人先查一遍,把不合格的挡掉,科学会更好」。这场实验没有随机化,没有对照组,没人负责测量,但它把地球上每一个科学家都招募进去了。

他把成绩单摆了出来:全世界的科学家每年花在审稿上的时间加起来约一万五千年。而在三项「故意往论文里塞进严重错误、然后数审稿人抓出几个」的研究里,审稿人抓出了 30%、25%、29%。那些错误不是排版问题,是「这篇论文自称是随机对照试验但它不是」「看图就知道根本没有效应」那一类。

还有一个更难看的细节:有位期刊编辑开始要求作者在投稿后补交原始数据,结果一半的人直接撤稿了。编辑的原话是,这暗示原始数据从一开始就不存在的可能性。

The results are in. It failed.结果出来了。它失败了。The rise and fall of peer review,2022 年 12 月 13 日

这个人叫 Adam Mastroianni,而他不只是抱怨。在写这篇之前一个月,他把一篇够格投顶级期刊的论文——八个正式研究、上千名被试、预注册、数据代码全部公开——直接当成一篇博客文章发了。文章里有笑话。有一段他老实写着「我不记得我们当初为什么要做这个研究了」,还说他问了合作者,对方回「兄弟我连做过这个都不记得」。他以为自己会像个傻子一样没人理。结果在他自己开口宣传之前,几千人已经读了它,陌生人给他写来认真的评审意见,NPR 来约采访。那篇博客的阅读量超过了他上一篇发在《美国国家科学院院刊》上的论文。

但真正让这个博客值得读完的,不是他证明了同行评议没用。是他接下来把整件事换了一个框架。

他说,世上有两种问题。弱链接问题,整体质量取决于最差的那一环——食品安全是这样,一块坏牛肉就能要你的命,所以该设检查站。强链接问题,整体质量只取决于最好的那些,坏的几乎无所谓——音乐是这样,你只听你喜欢的,其余的你连它存在都不知道。

他的核心一击是:科学是强链接问题,而我们一直把它当弱链接问题在管。燃素、以太、地心说、颅相学,全都死了,不是因为有人把它们挡在门外,是因为它们没用。而弱链接式的把关有一个对称的代价,这个代价之所以从来没人算,是因为它不出声:

The terrible study that gets published sounds like nails on a chalkboard, but the terrific study that never got funded sounds like nothing at all. Purge all the terrible at the cost of the terrific, and all you're left with is the mediocre.一项糟糕的研究被发表出来,听起来像指甲刮黑板;而一项极好的研究从来没拿到经费,听起来什么声音都没有。你以牺牲极好为代价清除掉所有糟糕,剩下的就只有平庸。Science is a strong-link problem,2023 年 4 月 11 日

而这套「弱链接/强链接」只是他更大的那个活的一半。另一半是:他是个心理学家,而他认为他这门学科连自己在研究什么都还没搞清楚。他有一个画面用了好几年——我们都在一辆据说开往辛辛那提的公共汽车上,没有路牌,没有导航,所以谁也不知道方向对不对。于是他去干了一件很少有人干的事:先别问「我们的结论对不对」,先问「我们要怎么知道自己在靠近辛辛那提」。他为此列了五把衡量进步的尺子,然后承认心理学只过了一把——推翻常人的直觉,这个它做得极好;而《精神疾病诊断与统计手册》里 298 种疾病,治好的有 0 种。

他自己做出来的东西也一样不客气。他和朋友吃煎蛋卷时想出一个假设,跑去做实验,发现自己完全错了,却撞上一个更怪的东西:你问人「某样东西可以有什么不同」,人几乎总是想到它可以更好。52 样东西,无一例外;90% 的被试如此;换成波兰人如此,换成在中国用普通话回答的人也如此。被问到宠物——所有选项里评分最高的、比「爱」和「幸福」还高的那一项——有人回答:「它们可以不死。」

他的另一篇是硬碰硬的大工程:全世界的人都说道德在滑坡,这是真的吗?他扒出 177 份美国调查(22 万人)和 59 个国家的调查(35 万人),确认了这个信念普遍存在、老人年轻人自由派保守派都持有。然后他去找真实的指标:107 份问「昨天有没有被人尊重对待」这类问题的调查,440 万人,1965 到 2020 年——什么变化都没有。同一份盖洛普调查里,每年约七成人说道德在变坏,而每年人们的实际答案一模一样。他给出的机制叫 BEAM:坏消息更容易进你的眼(biased exposure),而坏事的坏味道褪得比好事的好味道快(biased memory)。于是今天永远难看,昨天永远好些。

它最优雅的地方是能反向预测。问人「你亲自认识的那些人」——这里你的信息不偏向坏——人们说这些人变好了。问人他们出生之前的年代——这里你没有记忆可褪——人们的回答等于说:道德滑坡是从我来到地球那年开始的。

Notice that, while lots of people are happy to tell you about Golden Ages, nobody ever seems to think one is happening right now. Maybe that's because the only place a Golden Age can ever happen is in our memory.你注意一下:很多人乐于告诉你哪个年代是黄金时代,却从来没有人认为现在正是一个。也许那是因为黄金时代唯一能够发生的地方,就是我们的记忆。The illusion of moral decline,2023 年 6 月 7 日

四年下来,这些东西其实指向同一条脾气。2026 年他把它写成了一句话:激励是给废物准备的。因为一套奖励机制给你发小零食你就去做某件事——那是鸽子的活法,不是人的。他打的比方来自他打过几年的少年棒球联赛:球队公用的击球头盔又臭又不合头,而那几个认真的孩子自带头盔。

incentives are like batting helmets: if you don't bring your own, you'll have to use the crappy ones that are provided for you.激励就像击球头盔:如果你不自带一个,你就只能用别人配给你的那个破的。Incentives are for losers,2026 年 8 月 5 日

这就是他全部工作的同一件事:那些审稿制度、那些经费评审、那些「我们必须防止坏研究被发表」,都是别人发给你的头盔。而他每一次的动作都一样——先把头盔取下来,看看下面有没有人。