AI/ML 详解：公平、偏见与去偏

模型偏见不是"某行代码写错了"，而是像一条 ETL 数据管线——采集、抽样、打标、聚合每层都可能注入系统性偏斜，最后在模型里累积放大。跟分布式系统一样：污染往往不在终点，而是上游某个采样节点悄悄丢了数据，下游全盘继承还不自知。"垃圾进垃圾出"是对的，但偏见更隐蔽——合规、完整、没有 bug 的数据，依然可以是有偏的。

要治理偏见，先得知道它从哪进来。学界把机器学习管线里的偏见拆成几个互相独立的注入点——这很重要，因为不同来源要用完全不同的手段修，混为一谈只会白费力气：

• 历史偏见（historical bias）——数据如实反映了一个不公正的世界。某岗位历来男性居多，模型学到的是"事实"，但这事实本身就需要纠正；
• 代表性偏见（representation bias）——采样让某些群体样本过少。人脸数据集深肤色样本稀缺 → 模型在这些人群误差系统性偏高；
• 测量偏见（measurement bias）——想预测的东西无法直测，只能用代理标签（proxy）。想预测"犯罪"却只有"被捕"数据，而执法强度在人群间不均——代理与真值的偏差直接变成模型偏见；
• 聚合偏见（aggregation bias）——用一个模型硬套异质人群，对谁都不最优；
• 学习/评估偏见——损失函数最小化总体误差，天然牺牲少数群体；测试集若同样不均还会掩盖问题。

import pandas as pd

# 一份"看起来干净"的招聘历史数据：无缺失、无错误，但有偏
df = pd.read_csv("hiring.csv")  # 列: gender, hired(0/1)

# ① 代表性检查：各群体样本量是否悬殊？
print(df["gender"].value_counts(normalize=True))

# ② 历史偏见检查：正标签(hired)在群体间的基础比率(base rate)差多少？
#    模型会把这个历史差异当"信号"学下来并放大
base_rates = df.groupby("gender")["hired"].mean()
print(base_rates)
print("基础比率差(disparity):", base_rates.max() - base_rates.min())
# 差距大 → 直接拿去训练 = 把历史不公固化进模型

"公平"不是一个指标，而是像 SLA 定义——同一个系统，你可以承诺"每个租户吞吐量相同"，也可以承诺"每个租户错误率相同"，这是两份不同的合同，无法同时满足所有人。公平性度量就是把"公平"翻译成可计算的数学条件，而选哪个定义本身就是价值判断，不是技术细节。

"这个模型公平吗"无法回答，除非你先说清按哪种公平。两个最主流的群体公平（group fairness）定义，分歧的根源在于：看输出，还是看错误？

• 人口均等（Demographic Parity / 统计均等）——要求正预测率在各群体相等：P(Ŷ=1 | A=甲) = P(Ŷ=1 | A=乙)。直觉：录取率对每个群体一样，不管各群体真实合格率如何。它只看模型输出的分布；
• 机会均等（Equalized Odds）——要求真阳率(TPR)和假阳率(FPR)在各群体都相等。直觉：在真正合格的人里，各群体被录取的概率一样（TPR 相等）；在不合格的人里，各群体被误录的概率也一样（FPR 相等）。它看的是"模型犯错的方式"是否对各群体一致；
• 均等机会（Equal Opportunity）——机会均等的放松版，只要求 TPR 相等（合格者被公平对待），不管 FPR。当"漏掉真正合格的人"是主要伤害时用它。

关键区别：人口均等无视真值 Y，只看输出比率；机会均等以真值为条件，要求错误分布一致。所以若两群体真实合格率本就不同，这两个定义会打架——强行拉平录取率，必然在某群体制造更高错误率。这不是 bug，是下一张卡的数学必然。

from fairlearn.metrics import (MetricFrame,
    demographic_parity_difference, equalized_odds_difference)
from sklearn.metrics import selection_rate, true_positive_rate

# y_true 真值, y_pred 预测, A 敏感属性(如 gender)
mf = MetricFrame(
    metrics={"选择率": selection_rate, "真阳率TPR": true_positive_rate},
    y_true=y_true, y_pred=y_pred, sensitive_features=A)

print(mf.by_group)          # 逐群体看每个指标

# 一个数概括差距: 0 = 完全公平, 越大越不公
print("人口均等差:", demographic_parity_difference(
    y_true, y_pred, sensitive_features=A))     # 选择率的组间极差
print("机会均等差:", equalized_odds_difference(
    y_true, y_pred, sensitive_features=A))     # TPR/FPR 组间极差的较大者
# 两个数往往一个小一个大——印证它们在衡量不同的"公平"

公平性有自己的 CAP 定理。就像分布式系统里一致性(C)、可用性(A)、分区容忍(P) 三者不可兼得，风险评分模型里的三种公平——校准（calibration）、假阳率均衡、真阳率均衡——在群体基础比率不同时，数学上不可能同时满足。这不是工程没做好，是定理证明了的天花板：你必须选择牺牲哪一个。

2016 年，两组研究者（Kleinberg 等；以及 Chouldechova）几乎同时证明了这个结果，起因是著名的 COMPAS 累犯预测争议——ProPublica 指控该算法对黑人被告假阳率更高，厂商 Northpointe 反驳说算法是校准的（同一分数对各群体含义相同）。不可能定理揭示：双方都对，因为他们要的两种公平根本无法共存。

三个条件的白话：

• 校准：模型说"70% 会累犯"，那在各群体里打这个分的人，实际累犯率都该是 70%。分数含义对所有群体一致；
• 假阳率均衡：在不会累犯的人里，各群体被误判为高危的比例相同；
• 真阳率均衡：在会累犯的人里，各群体被正确识别的比例相同。

定理内容：只要两群体基础比率不同（真实累犯率不一样）、且模型不是 100% 完美，上面三条最多同时满足两条。为什么？——校准强迫"同一分数=同一真实风险"，但当一个群体整体基础比率更高，为维持校准，模型必然在该群体要么放更多假阳、要么漏更多真阳，错误无法在群体间对齐。基础比率的差异被"挤"进了错误率里，躲不掉。

import numpy as np
# 用最小例子看"校准"和"假阳率均衡"如何互相绞杀
# 两个群体, 基础比率不同: A组真实正例率 0.6, B组 0.3

def rates(y_true, score, thr=0.5):
    pred = (score >= thr).astype(int)
    tpr = pred[y_true == 1].mean()          # 真阳率
    fpr = pred[y_true == 0].mean()          # 假阳率
    return tpr, fpr

# 假设两组模型都完美校准(分数=真实概率), 但基础比率不同
rng = np.random.default_rng(0)
yA = (rng.random(10000) < 0.6).astype(int)  # A: 高基础比率
yB = (rng.random(10000) < 0.3).astype(int)  # B: 低基础比率
sA = np.where(yA==1, rng.random(10000)*.5+.5, rng.random(10000)*.5)
sB = np.where(yB==1, rng.random(10000)*.5+.5, rng.random(10000)*.5)

print("A组 TPR,FPR:", rates(yA, sA))
print("B组 TPR,FPR:", rates(yB, sB))
# 两组用同一阈值(都校准)→ 但 FPR 不相等; 想拉平 FPR 就得
# 给两组不同阈值 → 同一分数含义就不同了 → 打破校准。无解。

去偏就像数据质量治理——你可以在入库时清洗（预处理）、写入约束里强制（训练中）、或读取时打补丁（后处理），三个位置各有代价。因果公平更进一步：不满足于"相关性上看起来平等"，而是问一个反事实——"如果这个人的敏感属性被改掉，决策会变吗？"——把公平从统计相关升级到因果机制。

知道了偏见来源和度量，怎么修？三类干预按作用于管线的位置划分：

• 预处理（pre-processing）——改数据：重加权、重采样、或变换特征表示去掉敏感信息。经典是 Bolukbasi 2016 词向量去偏——找出嵌入里的"性别方向"并把职业词投影掉。优点：与下游解耦；缺点：可能损失有用信号；
• 训练中（in-processing）——改目标：损失里加公平约束，或用对抗去偏——加一个判别器专门从表示里猜敏感属性，主模型被训练到让它猜不出来。优点：权衡最优；缺点：要动模型内部；
• 后处理（post-processing）——改输出：模型不动，只按群体调决策阈值。Hardt 等 2016 证明用群体特定阈值可精确达成机会均等。优点：无需重训、可套黑盒 API；缺点：显式按群体区别对待，可能有法律/伦理争议。

因果公平（causal fairness）是另一条路线。前面所有度量都是相关性的，无法区分"邮编影响决策"是因为邮编本身相关，还是因为它是种族的代理。反事实公平（Kusner 等 2017）的定义：一个决策公平，当且仅当在反事实世界里——把个体敏感属性 A 改成另一个值、并沿因果图更新所有由 A 导致的下游变量——预测分布不变。它要求先画因果图（causal DAG），区分"A 的合法后代"和"应被阻断的歧视路径"。

from fairlearn.postprocessing import ThresholdOptimizer
from sklearn.ensemble import GradientBoostingClassifier

# 后处理去偏：不重训模型，只按群体调阈值达成"机会均等"
base = GradientBoostingClassifier().fit(X_tr, y_tr)

fair = ThresholdOptimizer(
    estimator=base,
    constraint="equalized_odds",   # 目标公平定义(见上一张卡)
    predict_method="predict_proba",
    prefit=True)

# 拟合时必须传敏感属性——它为每个群体学一组阈值
fair.fit(X_tr, y_tr, sensitive_features=A_tr)
y_fair = fair.predict(X_te, sensitive_features=A_te)
# 代价: 通常总体精度略降——这就是不可能定理里你付的"公平税"
# 注意: 推理时也要敏感属性, 部署上可能涉及合规限制

• Fairness and Machine Learning（Barocas, Hardt, Narayanan） — 领域权威免费教科书，偏见来源与公平定义讲得最清楚，首选
• Kleinberg, Mullainathan, Raghavan 2016 — Inherent Trade-Offs in the Fair Determination of Risk Scores — 不可能定理的奠基论文
• Chouldechova 2017 — Fair Prediction with Disparate Impact — COMPAS 争议与不可能定理的另一独立证明
• Hardt, Price, Srebro 2016 — Equality of Opportunity in Supervised Learning — 机会均等定义 + 后处理去偏方法
• Kusner et al. 2017 — Counterfactual Fairness — 用因果推断定义公平的代表作
• Bolukbasi et al. 2016 — Debiasing Word Embeddings — 词向量性别偏见与预处理去偏经典