陪审团先假定被告无罪，再问：若他真无罪，这些证据出现得有多离奇？离奇到一定程度就定罪。p 值就是这个「离奇度」。
致命之处在条件的方向：p 值算的是 P(证据 | 无罪)，人们读到的却是 P(无罪 | 证据)。罕见病筛查里的这个道理人人都懂，一换成假设检验，同样的错误被重复了一百年。
更要命的是，p 值只勘察了「无罪」这一个世界：它从不问真效应存在时这份证据有多常见（功效），也不问这类假设本来有多大比例是真的（base rate）。缺了这两块，它回答不了任何人真正关心的问题。
$T(X)$ 是检验统计量——把整批数据压成一个数，如两组均值之差除以标准误；$t_{\text{obs}}$ 是这次算出的值；$H_0$ 是零假设「无效应」。注意那个 $\ge$：p 值把从未发生的、更极端的数据也算进了概率，于是结论依赖于「若重做实验会看到什么」，而不只依赖已看到的数据——这是频率派的骨架，也是概念四争论的焦点。
p 值有一个近乎奇迹的性质：只要 $H_0$ 为真，无论数据服从什么分布、用了什么统计量，p 值都在 $[0,1]$ 上均匀分布。这是一次通用的坐标变换——把千姿百态的实验压进同一把刻度尺，让不同学科的证据强度第一次可以彼此比较。陷阱恰恰长在这份通用性上：刻度太统一，人就忘了它测的是什么。
临床试验、A/B 测试、社会科学共用的守门器。粒子物理坚持 $5\sigma$（$p\approx3\times10^{-7}$）才敢宣称新粒子，正因为它清楚自己在同时扫描海量能量区间。2016 年美国统计学会罕见地为一个数字发布正式声明，逐条否定 p 值的常见误读——需要发文教人读一个数，可见陷阱之深。
做 20 个互不相关的检验，每个都规规矩矩用 $\alpha=0.05$，至少冒出一个「显著」的概率是 $1-0.95^{20}\approx64\%$。你一步没做错，噪声自己会送你一个发现。
Gelman 指出的那一版更隐蔽：你明明只做了一个检验。可假如数据长得不一样，你会换个分组、换个协变量、换条剔除异常值的规则——那些没走的岔路同样构成多重比较。哪怕毫无作弊之意，「分析方案取决于看到的数据」本身就已放大了 $\alpha$。你只走一条路，花园里所有的路却都要计入。
Bonferroni 把阈值压到 $\alpha/m$（$m$ 为检验数），控制族错误率 $\mathrm{FWER}=P(\text{至少一次假阳性})$。Benjamini–Hochberg 换了目标：把 $m$ 个 p 值升序排列，找最大的 $k$ 使 $p_{(k)}\le k\alpha/m$，拒绝前 $k$ 个，从而控制错误发现率 $\mathrm{FDR}=\mathbb{E}[V/R]$——$V$ 是假阳性个数，$R$ 是总拒绝数，比值即「宣称的发现里有多少是错的」。
BH 的突破不在技术更强，而在把问题重新定义了一次：从「一次错都不许犯」松到「犯错的比例可控」。这一松，被 Bonferroni 掐死的功效大幅回流——在正确的地方降低要求，胜过在错误的地方加倍努力。它的证明只依赖一条事实：$H_0$ 下 p 值均匀分布，正是概念一那个奇迹；它还自适应——真信号越多，阈值自动越宽松。
全基因组关联研究同时检验上百万个位点，显著性线因此定在 $5\times10^{-8}$；脑成像著名的「死鲑鱼」实验在一条死鱼的 fMRI 里扫出显著脑区激活，成为不校正多重比较的经典反例。机器学习里同构的病叫测试集复用：反复在同一份测试集上选模型等于对它做多重比较，排行榜名次因此系统性虚高。
样本量足够大时，任何非零的差异都会显著——显著性说的是「几乎肯定不是零」，从不说「值得在意」。
反方向的陷阱更险。真效应很小而样本很少（低功效）时，只有恰好被噪声推向极端的样本才越得过显著线。于是一旦显著，估计值必然被夸大：文献里的效应量分布是被截断过的。Gelman 称之为 Type M 误差（幅度被放大）；功效再低些还会出现 Type S 误差——连符号都是反的。
效应量把差异除以噪声，例如 Cohen's $d=(\mu_1-\mu_2)/\sigma$：分子是两组真实均值之差，分母是个体间标准差，相除后无量纲，量的是信噪比而非绝对差。功效 $1-\beta$ 是「效应确实存在时检验能发现它」的概率。Type M 误差写作 $\mathbb{E}\big[\,|\hat\theta|\ \big|\ \text{显著}\,\big]\big/|\theta|$——被发表的估计平均比真值大多少倍；功效只有 0.1 时，这个比值常在 3 以上。
它暴露出一个安静而普遍的结构：「按显著性筛选」这个动作本身，就把无偏估计变成了有偏估计。数学上不过是一次条件化——把分布截断在阈值右侧，均值自然被抬高，无需任何人作恶。美在同一个算子在无数领域显影：投资里的幸存者偏差、演化中的选择效应、面试筛选后的绩效回落、验证集上挑模型。凡有筛选，必有诅咒。
2015 年 Open Science Collaboration 重复 100 项心理学研究，仅约三分之一复现成功，且效应量平均只剩原报告的一半——正是 Type M 的预言兑现。药物研发中早期小样本试验的效果在三期普遍缩水；「实验里赢的方案上线后收益打折」是它的日常版本。ML 榜单上的 SOTA 提升同样被高估，因为报告的永远是多次尝试里最好的那次。
两派并非答案不同，而是问题不同。频率派把参数看成固定的未知常数，随机的是数据：95% 置信区间的承诺是「这套程序重复无数次，其中 95% 的区间会盖住真值」——这是程序的长期性质，与你手上这一条区间无关。
贝叶斯派把数据看成既成事实，参数才是随机的：95% 可信区间说的是「给定已看到的数据，真值有 95% 的概率落在这里」——这是此刻的信念。直觉想要的一直是后者，标准工具交付的却是前者。p 值被读反一百年，根源就在这道错位。
$\theta$ 是待推断的参数，$D$ 是观测数据。$p(\theta)$ 是先验——看数据之前你认为 $\theta$ 大概多大；$p(D\mid\theta)$ 是似然——若 $\theta$ 取这个值，这批数据有多可能出现；两者相乘归一即后验。先验常被指为「主观污染」，可它装的恰恰是概念一缺失的那块信息：这类效应通常有多大、这类假设本来有多少是真的。
贝叶斯把前三个陷阱收拢成同一个漏洞——缺少关于 base rate 与效应量的先验。分层模型的补法优雅得出奇：给各组参数一个共同先验，后验就自动产生收缩，把每组估计往总体均值拉，噪声越大的拉得越狠。多重比较不必再打补丁，赢者诅咒被自动折价。用 Gelman 的话说：多重比较校正所近似的那件事，分层模型直接做了。一个机制治三种病，因为它不是打补丁，而是把数据的生成过程写清楚了。频率派的美同样真实：不依赖先验，最坏情况下仍给出可审计的长期错误率。
A/B 平台越来越多直接报「B 优于 A 的概率」与预期损失，比 p 值更贴近决策语言；Thompson 采样按后验概率分配流量。机器学习里最实在的对应是正则化即先验：$L_2$ 惩罚等价于高斯先验，$L_1$ 等价于拉普拉斯先验，训练找到的最优点就是 MAP 估计。推荐系统对冷启动物品的收缩、保险精算的信誉估计，都是分层先验在干活。