Day 72 · 2026.07.31

当证据不足以支持你已经做出的决定

主题:Decision Under Inconvenient Evidence·4 个原则
"Irrefutability is not a virtue of a theory (as people often think) but a vice." — Karl Popper, 1963

2025–2026 年,半个西方世界立法禁止学生在校用手机。同期四项严格评估交卷:挪威全国登记册(Abrahamsson,《Journal of Human Resources》2026)——全样本效应为零,女生子群显著;英格兰30 校对照(Goodyear 等,《The Lancet Regional Health – Europe》2025)——校规与心理健康无关,也没降低全天手机总时长美国锁袋全国研究(Allcott, Dee, Gentzkow 等, NBER 2026,4.3 万余所中学)——成绩平均效应近零,第一年幸福感下降、后续转正佛州面板(Figlio & Özek, NBER 2025)——第一年停学上升且集中在黑人学生,第二年成绩显著提升

这既不是「禁手机没用」也不是「有用」,而是一个已公开宣布的决定,撞上一份不干净的证据——大公司里每季度都在发生。四件事:分清两种理由盯剂量不盯名字宣布之后保住可证伪性被人拿研究砸时怎么读原文

PRINCIPLE 01

值得做 ≠ 已被证明有效 Worth Doing Is Not the Same as Proven to Work

两种理由借证据的信用可证伪性
支持一项政策只有两类理由:价值理由(我们认为课堂不该有手机,愿意付这个代价)和证据理由(有研究证明它改善心理健康)。两者都正当,但把价值理由包装成证据理由,代价是证据一翻盘,政策连同你的可信度一起塌——而它本可以只靠价值理由站着。
"A theory which is not refutable by any conceivable event is non-scientific. Irrefutability is not a virtue of a theory (as people often think) but a vice." 「不可能被任何可设想的事件所反驳的理论,是非科学的。不可反驳性不是理论的优点,而是缺点。」 — Karl Popper,《Conjectures and Refutations》第 1 章
情境:VP 在 all-hands 宣布「全组强制使用 AI 编码助手,目标半年提效 30%」,要你在周会上转达并背书。
✗ 两种反应都会伤到你

「研究表明 AI 能提效 30%,所以我们要用。」——你把公司的战略选择挂到一个自己没验证过的因果声明上;数字不兑现,塌的是你。
「没有证据支持,我保留意见。」——纯抵抗,会被读成不支持公司方向,话照样有人去讲。

✓ 试着说:把两种理由当场拆开

「两件事分开说。我们为什么做:这是公司的战略下注——三年后不会用 AI 的团队没有竞争力,这个判断不需要一份研究来批准我们知道什么:没有可靠证据说它能提效 30%。所以按战略理由推行,把 30% 当成待检验的假设,不当成已知事实;六个月后会知道,因为我已写好怎么算有用。在那之前说有用或没用的,说的都不是证据。

  • 我推的这项变革,真实理由是价值理由还是证据理由?公开说的是哪一种?
  • 若明天有研究说它无效,我的政策还站得住吗?站得住的话,当初何必拿证据背书?
  • 我引用的那个数字,我看过原文吗?还是从别人的 slide 上抄的?
  • 借证据的信用:证据理由听起来像自然规律替你做了决定,把决策者藏起来——人本能选它。代价是你同时失去了改主意的空间
  • 反向错误:「没有证据支持」被用来否掉一切新尝试。缺证据不等于无效——那时你要的是价值理由加一个可评估的试点。

动作:挑一项你在推的变革写两行——「即使被证明无效我们仍要做,因为__」「如果__就该停」。第一行写不出,说明它靠借来的证据撑着;第二行写不出,说明它不可证伪。

思考:你上一次因为证据而改变一个已公开表态的立场,是什么时候?

PRINCIPLE 02

你推行的是剂量,不是名字 You Implement a Dose, Not a Label

标签≠干预剂量阶梯平均数掩盖分布
「禁手机」不是一件事,是一条强度光谱:从「上课调静音」到「进校上交、全天不可及」。挪威数据里收益随强度走;英格兰更刺痛:限制性校规并没有降低学生全天的手机总时长——换了标签,没换剂量。评估标签而不是剂量,零结果什么也没告诉你。
"Until new behaviors are rooted in social norms and shared values, they are subject to degradation as soon as the pressure for change is removed." 「在新行为扎根于社会规范与共同价值之前,只要推动变革的压力一撤,它们就会退化。」 — John P. Kotter,《Leading Change》第 1 章,八大错误之「未将变革锚定进企业文化」
同一个名字底下的五档剂量
1 档写进手册
2 档口头要求
3 档流程卡点
4 档无法绕过
5 档移除旧路径
挪威的收益集中在右侧两档。你以为在评估这项措施,其实在评估它的最弱实现。
情境:老板说「RFC 制度推了半年,工程效率没变化,是不是该取消?」
✗ 两个方向都错

「再给一个季度吧。」——没有新信息,只是拖。
「取消吧,看来没用。」——你在用一个从未真正施加过的剂量去否定一个干预。

✓ 试着说:先报剂量,再谈效果

「先分清取消什么。这半年 41 个设计,走完 RFC 并有第二人签字的只有 9 个,另外 32 个是代码合完后补的文档。我们没推行 RFC 制度,我们推行了一个 RFC 文件夹。
要判断有没有用,得先真加到那个剂量:接下来两个月跨团队接口变更没有 RFC 不许合,只卡这一处(约占两成)。两个月后的零才是真的零;那时还是零,我第一个提议取消。

  • 我说「已经推行了 X」时,能报出一个剂量数字吗(覆盖率/合规率/被拦下的次数)?
  • 这项措施有可以绕过的口子吗?被绕过的比例是多少?
  • 判它无效之前,它在足量强度下完整跑过一个周期吗?
  • 零效应最常见的原因不是干预无效,是干预根本没发生。政策会被稀释三轮:翻译成流程、赶工期豁免、换一任 manager 遗忘。
  • 平均数掩盖分布:挪威研究全样本为零,女生显著、男生为零。组织里同构——「一视同仁」的政策(强制回办公室、扩大 on-call、会排进晚间)平均效应可能是零,但成本集中落在承担更多照护责任的人身上,这部分人以女性居多。报平均数时顺手拆一次子群。

动作:给你手上最重要的一项「已推行」措施量一次真实剂量:覆盖率、绕过率、真正被它改变过的决定数。用数字,不用感觉。

思考:你团队有多少项措施处在「名字还在、剂量为零」的状态?它们占着位置,挡住的正是真正去做这件事。

PRINCIPLE 03

宣布之后,怎么保住可证伪性 Staying Falsifiable After You've Announced

认知失调判据前置效应的时间形状
决定一旦公开,改主意的成本就不只是承认判断错了,还包括承认让全组白忙了半年。这不是意志力问题,是结构问题:公开表态会自动招募你为它辩护。对策只有一个:表态的同时把「什么算失败」写死、交给别人保管——那一刻的你,是最后一个还能中立的你。
"A man with a conviction is a hard man to change. Tell him you disagree and he turns away. Show him facts or figures and he questions your sources. Appeal to logic and he fails to see your point." 「一个抱有信念的人很难被改变。你说不同意,他转身走开;你摆出事实和数据,他质疑你的来源;你诉诸逻辑,他看不出你的重点。」 — Leon Festinger 等,《When Prophecy Fails》(1956) 第 1 章开篇

判据还必须带时间轴:锁袋研究第一年幸福感下降、后续转正,佛州第二年成绩才提升。真实变革几乎都是先变差再变好,或者一直差——不分时间窗看,你就会在谷底做终审。

情境:你半年前推动了「跨团队接口变更强制 AI 辅助 review 门禁」。Q2 数据:缺陷逃逸率没降,review 平均时长上升 20%。下周部门评审要讲。
✗ 两个方向都错

「数据还早,工具也在迭代,建议再观察两个季度。」——每句单独看都成立,合起来是一张永不到期的支票。
「我错了,取消。」——若正落在谷底,你会在最低点砍掉一件本来会成的事,而且下次没人敢再推任何东西

✓ 试着说:照半年前写好的判据念

「按当时的判据讲:六个月看采纳与时长(过渡期指标),十二个月看缺陷逃逸率(结果指标)。六个月判据是『覆盖率 >80% 且时长增幅 <30%』——87%、+20%,这一档通过;结果判据还没到期,我今天不下结论。另报一个当时没预料到的代价:跨时区 PR 平均多等 4 小时。若十二个月缺陷逃逸率没降 15%,按当时写好的取消门禁、只留建议模式。

✓ 若有人说「你就是不肯承认它没用」

「有可能。所以判据不是我今天定的,是半年前定的,写在提案第 3 页,Dana 也签了字。我今天唯一的自由是照它念。

  • 宣布时有没有同时写下「多少/到什么时候/达不到就做什么」?
  • 判据区分了过渡期指标和结果指标吗?到期日分开了吗?
  • 判据有第二个人签字吗?还是只在我脑子里(那等于不存在)?
  • 判据到期时改判据:数据难看时最诱人的不是硬撑,是「重新定义指标」——它更危险,因为看起来像在做数据驱动。防线只有一条:改口径必须留痕,并写清改之前的数字。

动作:把你半年前公开宣布时的原话找出来(邮件/slide/纪要),跟今天的说法逐句对照,看有没有不知不觉改过目标。改了就在下次评审上主动说出来。

思考:过去两年,你有没有一个项目是「悄悄淡出」而不是「被判定失败」的?谁本该宣布结算?

PRINCIPLE 04

有人拿研究砸你的时候 When Someone Cites a Study at You

读原文的追问双方引的都是真论文事实分歧 vs 价值分歧
关于禁手机,双方引的都是真论文:支持方引挪威的女生子群和佛州第二年的成绩,反对方引英格兰的零结果和锁袋研究的平均值。没人造假,双方只报了对自己有利的那一层。所以「有研究表明」几乎不携带信息量——携带信息量的是下面几个问题。
"Thinking like a scientist... means being actively open-minded. It requires searching for reasons why we might be wrong—not for reasons why we must be right—and revising our views based on what we learn." 「像科学家一样思考……意味着主动地开放:去搜寻我们可能错在哪里的理由——而不是我们必定正确的理由——并据此修正观点。」 — Adam Grant,《Think Again》第 1 章
情境:跨团队评审上,一位 peer 引一份行业报告否掉你的方案:「分析机构说这类迁移 70% 会失败。」
✗ 两种反应都会输

「那份报告方法论有问题。」——你还没读,是虚张声势,还把辩论变成了对人。
沉默,打算改天再找证据。——房间里的决定今天就做完了。

✓ 试着说:拆成三个可查的事实问题

「这个数字我想用,但得先对齐三件事:70% 里失败怎么定义,超预算算不算?样本是哪一类迁移,包不包括我们这种同栈?时间窗多长?我没有答案,所以我不用它支持我的方案,也建议先别用它否掉——这周我读原文,下周带三个答案再定。」
若对方说这是拖进度:「我在缩小分歧——分歧不是要不要迁移,是那个 70% 适不适用我们。这是一周能解决的事实分歧,不是价值分歧。

  • 层级:报的是全样本还是子群?「子群显著、全样本为零」是最常见的真话式误导。
  • 量级与剂量:效应量多大(「显著」是统计词不是商业词)?它的干预强度跟你要做的是同一件事吗?
  • 时间窗与成本侧:报的是第一年还是第三年?有没有报代价——佛州研究报了短期停学上升且集中在黑人学生,这条通常不出现在引用它的 slide 上
  • 这份研究,房间里有人真读过原文吗(包括我)?这是事实分歧还是价值分歧?
  • 两种廉价姿势:不加检验地引(「有研究表明」),和不加检验地否(「学术研究跟工业界不一样」)。都不携带信息。
  • 女性视角:会上要求核对原文,男性常被读作「严谨」,女性更容易被读作「不配合/拖进度」。降摩擦的措辞是把动作说成推进而不是刹车:不说「我不同意这个数字」,说「我来查实,下周带答案回来,下次就不用再吵它」。要承认的 trade-off:这让你多担一份活,成本真实、也不该由你独担——它只是当前代价最小的路径,不是公平的安排

动作:找出你团队正依据某个「大家都知道」的数字在做的决定,去追它的原始出处。追不到,就把这个事实写进下次评审的纪要。

思考:若明天一份高质量研究推翻了你最坚定的技术判断,你会最先怀疑什么——那份研究,还是你自己?

深入思考

「等证据」在快节奏行业里现实吗?
基本不现实——等不到,且等本身有成本。真实的第一选项是做成可评估的试点:小范围、足剂量、判据写死、定期到期。「等」只在行动不可逆且代价极高时才对(裁员、对外承诺、数据删除)。分界线是可逆性,不是速度偏好。
老板已经宣布了,我不是决策者,能做什么?
你改不了决定,但几乎总能改记录:在纪要里补一句「本决定依据是战略判断,不是已验证的效果」——不挑战任何人,却把口径固定住了;再主动认领判据的书写权,写判据的人定义什么算成功。一年后它若成了你是靠谱的执行者,若没成,你是房间里唯一有干净数据的人
全样本为零、子群显著,该按哪个决策?
先问这个零怎么来的:是真的没效应,还是正负相消(一部分人受益、一部分人受损)?后者按平均数决策等于系统性牺牲受损的人,而你在报告里看不见他们。做法:任何全组政策,事前指定两三个你担心的子群,事后分别报——事后翻找显著子群是另一种造假。
这套东西会不会让我显得优柔寡断?
会,如果你只做前半段。完整的姿势是「我不确定 + 我照做 + 这是我的判据」——不确定的是效果,不动摇的是行动。长期看最不可信的不是常改主意的人,而是从没因为任何证据改过主意的人