关于青少年与屏幕的那场争论里,一方算出数字技术使用只能解释幸福感 0.4% 的变异,顺手把它和「吃土豆」摆在一起;另一方算出社交媒体与女孩抑郁症状的相关落在 0.15 到 0.22 之间,称之为公共卫生危机。两边用的是同一批数据。差别不在计算,在各自站在两条梯子的第几格:暴露从「数字技术使用」一路可以收窄到某个平台的某种具体行为,结局从「幸福感自评」一路可以加硬到自伤住院与自杀死亡。名字相同的构念,其实是一个能伸缩的容器。
两条梯子各有一套规律。暴露端的规律是稀释:把多种行为打包成一个合成指标,若只有其中一种与结局相关,相关就会被无关成分按比例摊薄——看电视、用平板写作业、深夜刷短视频混在「屏幕时间」这一格里,信号被平均掉。往窄处收一格,效应浮上来一点,但样本量与可外推范围同时缩小。结局端的规律是取舍:越软的结局(自评量表)基率高、统计功效足,却混着报告偏差和答题当天的情绪;越硬的结局(住院、死亡)几乎不受自报污染,可事件太稀少,置信区间宽到能同时容纳「风险翻倍」和「毫无影响」。于是一个立场只要在两条梯子上各挑一格,就能合法地得到自己想要的量级。
那项得出「和吃土豆同级」的分析并非草率之作:它把研究者可选的成千上万种分析规格全部跑了一遍,看效应的整体分布而不是挑一个报,这本身是对抗结果挑选的严谨做法。而它得出的效应之所以极小,恰恰因为暴露被定在最宽那一格。同一批数据里,把暴露收到社交媒体、人群收到女孩,相关就升到 0.15 上下。两个结论都能复现——真正冲突的不是数据,是两句不同的话被冠上了同一个标题。
心血管试验的复合终点是同一个结构:把心梗、卒中、再次血运重建打包成一个指标,阳性结果常常由其中最软的那一项驱动。营养学里「红肉」把加工肉与未加工肉合成一格,拆开就可能变号。分布式系统的「延迟」也是——平均延迟、p99、某个特定接口的 p99 是三条梯子上的三格,容量规划里换一格就是几个数量级的差别。
评估 AI 编码工具时,「工程效率」正是典型的可伸缩容器。往下走一格:你要测的是需求交付周期、代码评审耗时,还是单个函数的编写时间?结局那侧同理——自报满意度、合并周期、线上缺陷率、一年后的可维护性,硬度递增而可测性递减。落笔之前先把自己站的那两格写死,再去看数字;顺序一反,就成了先看数字再挑格子。
你团队最近引用最多的那个指标,把暴露和结局各往硬的方向挪一格,还剩多少效应?如果你的直觉是「应该差不多」,这个直觉本身建立在哪一格的证据上?
摘要开头的「355,358 名青少年」几乎从不等于支撑那句结论的人数。样本量沿分析链条逐级衰减:总招募 → 问过这个暴露的 → 同时测了这个结局的 → 协变量无缺失的 → 落在你关心的那个子群里的。走到最后一格,那个上了头条的数字往往由不到八千人承载。大 N 印在摘要里,小 n 藏在附录表格里,而读者的信心锚在前者上。
衰减有三种来源。一是变量可得性:不同队列问的题目不同,跨数据集合并之后,任何单一分析只能用到问过那道题的那部分人。二是逐变量剔除:每多控制一个协变量就多丢一批缺失者,五六个下来样本常掉三成,而缺失极少是随机的——不填收入的人本就与填了的人不同,功效与无偏性同时受损。三是子群切分:按性别、年龄段、使用强度分层,每切一刀分母减半。三者叠加就是三级跳。更棘手的是它带来的双向危险:n 极大时几乎任何微弱关联都会显著,显著性因此不再携带信息;切到子群后 n 变小,置信区间又宽得什么结论都容得下。同一篇论文里这两种情形可以并存,而摘要只写那个大数。
临床试验早年也犯同样的毛病,直到期刊把「筛选—随机化—失访—纳入分析」的完整流程图定为正文必备,逐步标出每一环掉了多少人。这道要求之所以被写进规范,正因为不写的时候,读者会系统性地高估证据的厚度。观察性研究和企业内部分析大多至今没有这道强制关卡:你的 A/B 测试报告里,曝光人数、真正触发实验逻辑的人数、进入统计检验的人数,通常只报第一个。
数据工程里它表现为连表之后的行数塌陷:几张表各百万行,join 完只剩几万,而看板上仍写着「基于百万级数据」。流行病学里是失访偏倚——愿意留下来复查的人更健康。机器学习里是评测集的有效样本:一个基准号称上万题,但你真正关心的那个能力子类只有几十题,排行榜的翻转往往就发生在这几十题上。
给自己的分析报告加一张流程图,哪怕只有四行字:进入系统的总量、字段完整的、通过质量过滤的、最终进入结论的。写这四行成本极低,而它常常在说服别人之前先说服你自己——不止一次你会发现,结论其实站在一个自己都不敢引用的样本上。
你最近一次汇报里出现的最大那个数,和真正支撑核心结论的那个数,比值是多少?如果两者相差一个数量级,你在汇报里提过这件事吗?
同一份关联可以被合法地写成五句话:解释 0.4% 的变异、相关系数 0.06、比值比 1.3、高使用组风险高出三成、两组相差 0.15 个标准差。从「可忽略不计」到「重大公共卫生问题」的整段情绪跨度,都能在不改动任何一个数据点的前提下实现。这不是造假,是换单位——而绝大多数读者没有在心里换算单位的习惯,于是单位的选择悄悄变成了立场的选择。
几个换算值得记住。相关系数要平方才是方差比例,r=0.2 只解释 4%,所以「仅解释百分之几」这种说法天生显得渺小。比值比在结局罕见时接近风险比,在结局常见时会大幅夸大——同一份数据,比值比 3.0 可能只对应风险比 1.5。相对风险脱离绝对基率就无法判断轻重:基率千分之一时提高三成,绝对增量是万分之三。标准化差异依赖组内标准差,人群越同质分母越小、数值越大,同一效应在筛选过的样本里天然更「可观」。这些量互相之间不能横比,但它们印在同一页上时看起来完全可比。
把 r=0.15 换一种展示——高分组与低分组各有多大比例落在结局阳性侧——它对应大约 57% 对 43%。同一个「只解释 2% 变异」的数字,换成这套说法立刻显得相当可观。反方向的例子更有名:阿司匹林预防心梗的效应量按相关系数算约 0.03,落在统计教科书里「可忽略」的量级,却足以改写临床指南——因为结局是死亡,而干预几乎免费。效应量从不单独决定重要性,它要乘上结局的严重程度、再除以干预的代价。
类别极不平衡时,准确率、F1、AUC 讲的是三个不同的故事,报哪个基本决定了读者的印象。可用性 99.9% 听起来接近完美,换算成每月停机 43 分钟就不然。凡是同一现实存在多种合法计量方式的领域,都会长出「选单位即选立场」这门手艺。
定内部指标时立一条硬规则:同一个效应至少同时报两种单位,一个相对量、一个绝对量。「转化率提升 12%」旁边必须写「每千次请求多 3 次」。这条规则最大的价值不是防别人误导你,是防你自己在两种单位间无意识地切换——讲成绩用相对量、讲成本用绝对量,是最常见也最难自觉的一种偏移。
你上一次说「提升了百分之多少」,对应的绝对增量是多少?如果当时先报绝对量,那个项目还会被批下来吗?
论文写着「女孩组存在显著关联,男孩组不显著」,读者立刻读出「性别之间有差异」。这一步在统计上不成立。两组各自与零比较,得到的是两个独立结论;要主张两组彼此不同,必须直接检验交互项。跳过这一步读起来毫无破绽——正因为那个结论听上去恰好就是数据「显然」在说的话。
显著性等于效应量除以标准误,而标准误由子样本大小决定。把样本一切为二,两个子组的功效同时下降,于是一组 p=0.04、另一组 p=0.09 完全可以对应几乎相同的效应量——差别来自各自的噪声,不来自现实。要检验「两组之差」,需要的是差值的标准误,它约为单组标准误的 1.4 倍;换算下来,要以同等把握侦测同等大小的组间差异,样本量大致需要四倍。目视比较置信区间同样不可靠:两个 95% 区间明显重叠时,差异仍可能显著,反过来「不重叠所以有差别」在两组方差不等时也会失效。唯一可靠的做法是把差值本身当成待估参数。
这不是罕见失误。一项对五百多篇神经科学论文的系统抽查发现,其中有一百五十余篇的论证本该做交互检验,而这些论文里约有一半直接从「一组显著、一组不显著」跳到了「两组不同」。它发生在同行评议最严格的期刊上,说明问题不在粗心,而在这套推理天然感觉正确。同一陷阱的镜像版本是:把数据切成足够多的子群,总会有一格显著,然后那一格被写进摘要。
临床试验的亚组分析为此立了规矩:事后发现的亚组效应只能当假设,必须预先声明并通过交互检验才允许进结论。A/B 测试的下钻同理——「在某个国家显著」几乎总是切片数量的产物。机器学习的消融实验也常犯:模块 A 相对基线的提升显著、模块 B 不显著,不等于 A 优于 B,得直接比较两者。
团队大概率讨论过「AI 工具对资深工程师和新手的效果不同」。想把它当结论,就必须在同一个模型里放交互项,并预先估算样本量够不够——多数团队的实验规模只够回答「整体有没有效」,远不够回答「对谁更有效」。此时诚实的说法是「目前数据不足以区分两组」,而不是「资深组没看到效果」。
你团队现在信以为真的某个「A 组有效、B 组无效」,做过交互检验吗?如果没有,它究竟是证据,还是一个被当成结论用了很久的假设?
任何一个比例或百分比进入你的决策之前,先定位四件事:
四个都答得出,才轮到讨论数字大不大。Day 70 问的是尺子有多严,这一期问的是你站在坐标系的哪一格——两个问题合起来,才算完成一次读数。