一个理论有多科学，不取决于它能解释多少，而取决于它禁止多少。能把任何结果都圆回来的理论，其实什么也没说。这把判断标准整个翻转：不再问「有多少证据支持我」，而问「出现什么结果我就认错」。支持性例证廉价而无限，谁都能攒一箩筐；真正给一个主张定价的，是它敢押在什么反例上。
信息量与排除掉的可能性成正比：一句「明天可能下雨也可能不下」排除了零种世界，因此毫无内容。最有分量的是那种「敢死」的预言——它给出的数值，在竞争理论下本该是另一个值。但要注意：观测与预言不符时，错的也可能是仪器或辅助假设。所以真实的证伪不是一击致命，而是整张理论网络的重新调整——可证伪性是一种纪律，不是可机械执行的判决程序。
1919 年的日食观测成为科学史标志，不是因为它「支持」广义相对论，而是因为相对论事先交出了一个能要它命的数字：星光掠过太阳边缘的偏折约 1.75 角秒，牛顿式计算只给出一半。测出来只能是其中一个，没有退路。反过来，那些看似解释力惊人的体系——事情朝哪个方向发展都能自圆其说——恰恰因为从不冒险，一次也没被真正检验过。解释力强和可信度高，常被混为一谈。
机器学习里有个同构现象：模型能在训练集上拟合一切，正说明它没受任何约束；留出的测试集就是人造的可证伪性——先冻结模型再受检验，顺序不能倒。软件工程里，「什么行为都算通过」的测试等于没有测试，断言的价值全在它排除了什么。投资亦然：无论涨跌都能自我解释的逻辑永远无法触发止损，所以严肃的做法是建仓前先写下「什么数据会让我认错」。
技术评审里最常见的不可证伪句式是「这个方案扩展性更好」「这套架构更优雅」——无法被任何观测推翻，因此不承载信息。把它们改写成能打脸的形式：「大促峰值 5 万 QPS 下 P99 低于 80 毫秒，季末验证，达不到就回退方案 B」。判断一旦带上数字、期限和退出条件，讨论质量立刻不同。
挑出你目前最坚信的一个技术判断（比如「自研比采购划算」）——你能立刻写出一个具体可观测的结果，一旦出现就承认自己错了吗？如果写不出来，你守着的到底是判断，还是立场？
p 值小于 0.05 常被读成「结论有 95% 的概率为真」。它实际只说了一件事：假如效应根本不存在，看到如此极端数据的概率不到 5%。更关键的是，这个 5% 只在分析方案事先定死时才成立。一旦研究者可以边看数据边决定怎么分析，门槛就形同虚设。复现危机的主因从来不是造假，而是一连串单看都很合理的选择。
同一份数据可以合法地长出成百上千种分析：异常值剔不剔、控制哪些变量、样本收到多少停、要不要分子组看。每个岔口都不算作弊，但组合起来就是在森林里搜索显著性，而搜索必然找得到。经典模拟表明，只要给研究者四种常见的分析弹性，假阳性率就能从 5% 蹿到六成以上。再叠上发表偏倚：阴性结果留在抽屉里，期刊只挑漂亮的那批。
一项协作研究把同一份数据（球员肤色与被罚红牌是否相关）交给 29 个独立团队各自分析。结论横跨整个区间：二十个团队认为效应显著，九个认为不显著——数据一模一样，分歧全部来自分析选择。另一边，系统复现 100 项心理学研究的项目发现，只有约三分之一重跑出显著结果，效应量平均缩水一半。最反直觉的是：即便每一步都清白，文献整体依然可以系统性偏离真相。
这就是机器学习里的「在测试集上调参」：每次拿测试集分数去改模型，就悄悄把它变成训练集，公开榜单的名次提升有相当比例是对榜单的过拟合。金融里叫回测过拟合：同一段历史上试一万个策略，必然筛出几条漂亮的净值曲线。A/B 测试同理——偷看中期曲线、见好就收、事后切分用户群，都是同一台假阳性生产机。凡是「可反复尝试、只报告成功那次」的地方，它就自动开工。
你团队的实验平台大概允许随时查看实时曲线，而这正是最危险的自由度：只要「看到显著就停」，宣称的 5% 早已不是 5%。可行的纪律是强制分析方案先落库——上线前写死主指标、样本量、停止规则和切分口径，其余发现只能标为「探索性结果，待独立复现」。
回想你最近一次说「数据证明这个改动有效」——当时的主指标、停止时间和用户切分，是上线前定下的，还是看过数据之后才定的？如果是后者，你验证的究竟是改动，还是自己的期待？
显著性只回答「有没有」，效应量才回答「有多大」，而只有后者能拿去决策。更麻烦的是两者会互相欺骗：样本足够大时，毫无实际意义的微小差异也能高度显著；样本太小时，唯一能挤过门槛的恰恰是被噪声吹大的结果。所以低功效研究的问题不是「发现太少」，而是「发现系统性偏大」——文献里因此挤满效应惊人却复现不了的小样本研究。
效应量（如两组均值差除以标准差）不随样本量变化，因此可跨研究比较、可累加进元分析；p 值做不到。统计功效是「真效应存在时你能检出它的概率」：功效只有四五成的研究本质上在抛硬币，诅咒还是双向的——既大概率漏掉真效应，又让侥幸过筛的估计值严重膨胀，这叫赢家的诅咒。修正手段是制度性的：预注册（看数据前公开落档假设、主指标、样本量与分析方案）与注册报告（期刊在看到结果前就决定录不录用）。它们不禁止探索，只是给结论贴标签：哪条是事先押的注，哪条是事后看出来的。
预注册的威力可以被量化。对某国家级机构资助的大型药物试验的分析发现：在临床试验被要求公开预注册之前，约 57% 报告「药物有效」；强制注册之后，比例掉到 8%。药没有变，研究者也没有集体变坏——只是不能再在看过数据之后调整主要终点了。同样，采用注册报告格式的研究中支持原假设的比例约四成多，传统文献里却高达九成以上。
工程与商业里有个熟悉的对应病症：只要「统计显著」就上线，一年攒下几十个显著改动，业务大盘却毫无变化——因为每个提升都小到被噪声和相互抵消吞掉。医学界为此发明了「最小临床重要差异」：低于这个幅度的改善，再显著也不值得换治疗方案。凡是靠指标做决策的系统，都得先约定「多大才算大」。
给实验看板加一列「最小值得上线的效应量」，并在开始前算一次样本量：以现在的流量，要多久才能以八成功效检出这个幅度？很多实验会当场暴露出它根本没有能力回答自己提出的问题——提前知道这件事，远比跑完两周再去解读一条噪声曲线便宜。
你上一个「数据显著、于是上线」的功能，效应量具体是多少？如果当初约定「低于 1% 提升就不上」，它还会被上线吗——你在意的是真实增益，还是那个显著性符号带来的安全感？
科学之所以可靠，并不是因为科学家比别人更诚实或更聪明。个体研究者一样有偏见、有私利、会爱上自己的假设。可靠性来自一套社会性的纠错装置：公开、复现、竞争性验证、可撤回。看清这一点，你评估任何知识来源的方式都会变——别问「这个人可不可信」，问「这个说法暴露在什么纠错机制下」。
纠错分几层，而且刻意冗余。公开发表让主张脱离作者的控制；复现要求它在别人手里也成立；相互竞争的团队有强动机去挑错，这才是主要动力，远强于同行评审——评审只是稀疏抽样，实验显示评审者常发现不了被刻意植入的错误；元分析把散落的效应量汇总，还能反推出发表偏倚；撤稿与更正提供回退路径。关键在于任何单一环节都不可靠，是叠加起来才把错误的存活时间压短——这跟「找到一批可靠的人」是两种思路。
2011 年一个大型物理实验宣布测到中微子跑得比光快。若为真，现代物理的地基就得重砌。团队没有捂着，而是公开数据、请全世界复核；几个月后问题被定位到一根没插紧的光纤，结论由他们自己撤回。看起来像丑闻，其实是这套系统运转得最漂亮的一次演示。同样反直觉的是撤稿数量近年明显上升：以为科学在变糟，更可能是检测能力在变强——就像筛查普及后「发现的病例」必然增多。
分布式系统的可靠性哲学与此完全同构：你不假设任何单节点诚实且不宕机，而是用冗余、多副本对账、故障检测和可回滚换取整体可靠——拜占庭容错更是直接假定部分节点会撒谎。开源代码的可信度同样不来自作者水平，而来自「谁都能读、能提 issue、能回退」。反过来，一个封闭、无人能复核、错了也不必撤回的知识生产系统——内部报告，或一段语气笃定的模型输出——都不该获得科学级的信任。
把这套装置搬进工程组织：关键结论要求独立复现，换一个人、走一条独立的数据管道重算一遍才算成立；决策文档保留可追溯的版本与撤回记录；复盘时奖励主动指出自己结论已失效的人。与 AI 协作时这一层更稀缺——模型输出天生缺少纠错机制，你的核心价值恰恰是给它补上复现与反证。
你团队最重要的那个数字（成本、延迟、留存），有没有第二个人用完全独立的路径算过一遍？如果它其实是错的，多久会被发现——一周，一年，还是永远不会？