元知识详解:先问尺子

2026 年 7 月 26 日 · 跨学科核心概念
Day 70
测量方法论 调查研究 统计素养 证据分级

口径阶梯

The Ladder of Definitions
同一个问题,答案取决于你站在第几级
核心洞察

「AI 让开发者快了多少」这一个问题,能得出 +55%、+20%、−19% 三个答案,而它们可能全都没造假。差别不在数据,在口径:你测的究竟是事前预期、事后的主观感觉、受控条件下的完成时间,还是真实工作中经过随机分配的因果效应。这四类构成一条阶梯,越往上数字越保守、越难看。流通最广的百分比几乎都停在最下面两级,却被当成最上面那级来引用。

机制

阶梯每上升一级,就掐掉一类污染源。自估依赖记忆和自我形象;主观感受混入新鲜感与「我已经投入了」的合理化;受控实验排除了记忆偏差,却没排除任务选择——赢在玩具任务上不等于赢在真实系统上;只有随机分配加客观计时,才把「用不用它」和「谁在用、用在什么活上」分开。信息量随阶梯上升,成本却指数上升,于是流通的证据天然向底部聚集:便宜、量大、数字好看。这是一种系统性的乐观偏移,不需要任何人撒谎。

▸ 同一个问题,四把尺子
0 ① 动手前的预期 +24% ② 做完后的自我感觉 +20% ③ 受控实验 · 玩具任务 +55% ④ 真实仓库 · 随机对照 −19%
主观口径 受控但任务失真 严格归因
尺子越严,数字越小——严到一定程度甚至翻号
反直觉例子

2023 年一项对照实验里,近百名程序员用 AI 助手写一个 HTTP 服务器,完成时间比对照组快约 55%——真实的随机对照,只是任务是从零起步的小程序。2025 年另一项随机对照实验换了场景:十几位资深开源开发者,在自己长期维护的成熟大型代码库上做真实工单,结果允许用 AI 的任务平均慢了 19%。更值得琢磨的是主观面:他们事前预计 AI 能让自己快 24%,干完之后仍认为快了 20%——身处慢下来的那一组,感受却稳稳指向反方向。

跨学科迁移

医学的证据分级是同一条阶梯:细胞实验、动物模型、观察性研究、随机对照试验、系统综述,越往上效应量越小,大量在低阶惊艳的疗法到高阶归零。教育科技的「学习效果提升」多半停在满意度问卷那一级——而 Day 65 讲过,训练中的流畅感与长期留存往往反向。招聘里「面试评分」和「入职一年后绩效」同样是两级不同的尺子,实测相关远比直觉弱。凡是低阶证据便宜、高阶证据昂贵的领域,都会自发长出这套乐观漂移。

BigCat 应用

团队评估 AI 编码工具时,最容易采集的是「大家觉得提效多少」。把它明确标注为阶梯第一级,然后至少补一级实测:取一批真实工单,记录从领取到合并的周期,按是否使用 AI 分层比较;再进一步,把工单随机分配。你多半会发现提效真实存在,但集中在特定任务类型上——而「在哪类任务上」正是自评问卷永远给不出、又恰好决定怎么推广的那条信息。

思考题

你上季度汇报里用的那个提效数字,在阶梯上是第几级?如果被要求升一级重测,你预计它会缩水多少——若你的答案是「应该差不多」,这个判断本身又是第几级的证据?

六个口径旋钮

Six Measurement Dials
一个百分比不是一个数,是一个函数
核心洞察

任何比例都是六个旋钮的函数:分母装谁、标尺多严、样本怎么准入、谁来答卷、时间窗多长、自报还是实测。各拨一格,同一个现实就能输出相差数倍甚至变号的两个数字,且两个都合法。所以质疑一个可疑数字最快的路径不是争论它对不对,而是问这六个旋钮分别拨在哪一档——问不出来,它就不该进入决策。

机制

逐个看:分母决定同一个分子的量级——新冠早期用确诊数做分母算出的病死率是百分之几,用估计的实际感染数做分母(感染致死率)则落到 1% 以下,分子一模一样。标尺是判定阈值,阈值一动,人群瞬间重组。样本准入决定谁不被计入,最典型的是只统计已上线项目、把中途取消的排除在外,成功率立刻虚高。答卷人的位置系统性地平移答案(下一张卡展开)。时间窗决定看 7 天留存还是 90 天留存。自报与实测之间则有稳定的方向性缺口:自报运动时长普遍高于加速度计实测,自报屏幕时间与设备日志的吻合度差到不能互相替代。

反直觉例子

2017 年美国把高血压的诊断线从 140/90 下调到 130/80,成年人患病率一夜之间从约三成跳到接近一半——多出来的几千万「病人」血压没变过一毫米汞柱,动的只有标尺。更彻底的是失业率:美国官方同时发布六个版本,窄口径只算过去四周实际找过工作的无业者,宽口径把因找不到全职而做兼职的人、以及灰心不再找的人一并计入,后者通常接近前者的两倍。都不作假,都叫「失业率」,引用哪一个取决于要讲哪个故事。

跨学科迁移

工程上最熟悉的旋钮机是可用性 SLA:「99.9%」取决于探测频率、部分降级算不算故障、统计窗是月度还是年度、分母是请求数还是分钟数。同一套系统换套口径,可以变成 99.99%,也可以变成 99%——而客户体验一点没变。犯罪率(报案 / 立案 / 定罪是三条曲线)、碳排放核算(供应链算不算进来差出数倍)、贫困率(绝对线还是相对线)都是同一台机器。凡是先有指标、后有考核的地方,旋钮就会被悄悄拨向好看的一侧。

BigCat 应用

给每个核心指标配一份五行以内的「口径说明」,与指标同屏展示:分母定义、准入规则、时间窗、来源是埋点还是问卷、口径最近一次变更的时间。最后一行最值钱——指标曲线的拐点里有相当一部分不是业务变了,是口径变了。没有变更记录,你会把口径调整当成趋势去解读,再据此决策。

思考题

挑一个你每周都看的指标,不查文档,把六个旋钮的档位写出来。写不全的那几个意味着你并不知道自己在看什么——那你上次基于它做的决策,还站得住吗?

谁在回答,答案就归谁

Who Answers Owns the Answer
「组织认为」这句话本身不成立
核心洞察

同一个组织、同一道题,答案会随答卷人在层级中的位置系统性平移,方向还可预测:越靠上越乐观。这不是有人说谎,而是每一层看到的现实确实不同——高层看到的是汇总后的成功案例和被逐级过滤的汇报,一线看到的是具体卡点。所以「某某比例的企业已采用 AI」这类数字,第一问不是「多少」,而是「谁答的」。

机制

三条通路叠加。信息过滤:坏消息每上一层衰减一次,到顶层已所剩无几。身份卷入:主导过某项决策的人评价它时其实是在评价自己,这种利害不需要被意识到就会起作用。抽象度错配最隐蔽——高层回答的是「我们有没有在做这件事」,一线回答的是「它在我手上能不能用」,两个截然不同的问题共用同一句问卷措辞。三者同向叠加,所以偏差不是随机噪声,而是稳定的方向性偏移,样本量再大也消不掉。

反直觉例子

儿童行为评估领域有个经典的大规模汇总分析:让家长、老师和孩子本人评价同一个孩子的同一批行为问题,不同类型评价者之间的相关系数只有约 0.28,同类评价者之间约 0.6。换一个人来看,几乎就是另一个孩子——而临床上又不得不从中拼出一个诊断。医院的患者安全文化调查稳定重现同一模式:管理层给本院安全氛围打的分持续高于一线护士,年年如此。同一家医院,安全水平取决于你问谁。

跨学科迁移

可观测性里有完全同构的一幕:服务端埋点算出可用性 99.95%,客户端实测只有 98%,因为服务端看不见连接建立失败、超时重试和弱网降级——不是谁在骗人,是观测点的位置决定了能看见什么。经济数据同理:企业报送的用工数据与住户调查的就业数据常年打架,两边都对,只是问的对象不同。架构评审也一样,方案作者与值班工程师对「这套系统好不好维护」的评分从来不会一致,而后者才是要被半夜叫醒的人。

BigCat 应用

看到「XX% 的企业已部署 AI」这类报告,先翻方法论页看答卷人构成:如果七成是总监及以上,这个数字测的是「组织意图」而非「一线落地」。自己做工具采纳率调研时,把结果按职级拆开呈现,别只报总体均值——落差本身才是信息量最大的那个指标,它直接标出了意图与落地之间的缺口。

思考题

你团队上一次内部调研,报的是总体均值还是分层结果?如果把管理者和一线的答案拆开摆在一起,你担心看到什么——而这个「担心」,是不是恰恰说明你已经知道答案了?

读任何比例前的三问

Three Questions Before Any Rate
分母是什么 · 尺子多严 · 谁在卖
核心洞察

把上面几条压成随身工具,就三个问题:分母是什么、尺子多严、说这话的人卖什么。前两问对付无意的口径漂移,第三问对付有方向的口径选择——后者最难防,因为选口径的人通常不必造假,只需在几十种同样合法的算法里挑那个最合意的报出来。Day 66 讲一个数字如何获得无根据的权威,这里讲它的刻度被谁校准。

机制

资助方效应的作用点不在数据,而在设计与口径:选什么对照、选什么终点指标、选多长随访、结果不好时报哪个亚组。每一步都在规范之内,合起来就把结论推向了资助方那侧。这解释了一个反常现象——用常规质量评分去筛,行业资助的研究并不更「差」,结论却依然系统性偏向。质量评分查的是执行是否规范,查不出口径是在看到数据之前还是之后选定的。所以第三问不是诛心,而是在没有预注册时唯一还能用的先验。

反直觉例子

一项针对饮料与健康关系研究的系统梳理发现:由相关行业全额资助的干预性研究中,得出不利结论的比例是 0%;无行业资助的同类研究里,这个比例约为 37%。不是「偏高一点」,是一个都没有。对药物试验的系统综述也一致:企业资助的试验报告有利结果的概率显著更高,且这种差异用常规偏倚风险评估解释不掉。偏倚发生在选尺子的环节,而不是量数据的环节——这正是最难查、也最少被查的一环。

跨学科迁移

模型评测榜单是当代最典型的战场:发布方选评测集、选提示词、选对手的版本与配置,同一个模型在不同榜单上的排名可以完全颠倒——不需要任何一个数字是假的。厂商性能白皮书、行业「成熟度调研」都是同一结构。反过来用也有效:当某份报告的数字对发布方不利时,可信度反而该上调,因为它逆着激励方向走。

BigCat 应用

选型评审时把三问写进模板,供应商给的每个数字都要填:分母(哪些请求、哪些用户被计入)、标尺(怎么算成功、超时算不算失败)、来源(谁做的测试、用谁的数据集)。填不上的一律降级为「厂商声称」。与 AI 协作时同理——模型给你一个漂亮的百分比,它同样答不出这三问,你的价值就在于替它追到一手来源。

思考题

回想你最近一次被某个数字说服而改变决定——它的分母是什么?如果当时追问这一句,你还会做同样的决定吗?更值得想的是:为什么你当时没问?