Batch Normalization（批归一化）

一句话

Batch Normalization 把「按当前小批量（mini-batch）的均值与方差把每个激活值标准化，再用两个可学参数 γ、β 缩放平移」做成一个可反向传播的网络层，插在每个非线性之前。它让各层输入的分布在训练中保持稳定，从而允许大十几倍的学习率、削弱对初始化的依赖、并附带正则化效果——同一个 Inception 网络加上它后，达到基线精度所需的训练步数少了约 14 倍，集成模型把 ImageNet top-5 错误率做到 4.9%。

Glossary · 术语表

坐标

作者是 Google 的 Sergey Ioffe 与 Christian Szegedy（后者也是本文实验主体 Inception / GoogLeNet 的主要作者），论文发在 ICML 2015。它接续的是「让深网络训得动」这条线——Glorot / He 初始化、ReLU 都在解同一个问题；而它自己被接续得更彻底：同年稍晚的 ResNet 每个残差块里都嵌着 BN，此后归一化层成了深度网络的标准零件，并分化出 Layer Normalization（Transformer 用的那种）、Group Normalization 等一整族后代。

问题与动机

2015 年，深网络能不能训起来仍是个现实障碍。作者的诊断是：训练时每一层的输入分布都在不停变化——它的输入是前面所有层的输出，而那些层的参数每一步都在更新。他们给这现象起名叫内部协变量偏移（internal covariate shift）：「分布不一致」这件麻烦事发生在网络内部，每一层都在追着一个不断漂移的目标学。

后果有二。其一，为了不让漂移失控，学习率必须很小、初始化必须挑得仔细，训练又慢又脆。其二，漂移会把激活值推进 sigmoid 的饱和区：分布整体挪到曲线两端的平坦地带后，导数趋零、梯度传不回去，这一层就彻底不学了。当时的通行解法是绕开（改用 ReLU、精心初始化、小学习率），而不是正面消除漂移。

核心思想 / 方法

第一步：为什么不能「事后归一化」

最朴素的做法是每步更新完、再把某层激活值减去均值。作者用一个反例说明这行不通：设某层输出为 x = u + b，若把「减这批的均值」当成训练之外的后处理（梯度不穿过它），梯度下降算出的更新会照常增大 b，而归一化又把 b 的效果整个抵消——输出不变、损失不降，b 却无限膨胀下去。

于是有了本文第一块基石：归一化必须写进模型、成为可反向传播的一层，让梯度知道「均值方差本身也依赖参数」；否则优化器会一直朝着被归一化抹掉的方向使劲。

第二步：用小批量的统计量代替全量白化

理想做法是对每层输入做白化（whitening）——变换成均值为零、方差为一、各维不相关的标准形态。但完整白化要算协方差矩阵及其平方根、还要每步遍历整个训练集，代价高得不可能。作者做了两个务实近似：每一维单独标准化（不做维度间去相关，不严格等价于白化，但便宜太多、够用），并用当前小批量的均值方差估计总体统计量（训练本就按批走，顺手就有）。

于是得到 BN 变换。对批内某一维激活值 x：先算这批的均值 μ_B 与方差 σ²_B，标准化成 x̂ = (x − μ_B)/√(σ²_B + ε)（ε 是防除零的小常数），再做一次可学的缩放平移 y = γ·x̂ + β。前半句把这一维拉成「中心零、幅度一」；后半句是关键的后门。

第三步：γ 与 β——为什么必须留这个后门

强行把每层输入固定成零均值单位方差是有代价的：把 sigmoid 的输入锁在中间，等于把它限制在近乎线性的那一段，非线性表达能力被削掉了。γ（缩放）与 β（平移）是随网络一起训练的参数，让网络自己决定这一维最终该是什么均值、什么幅度。极端情况下只要令 γ = √σ²_B、β = μ_B，BN 就精确还原成恒等变换——归一化被「提议」而不被「强加」，最坏情况不亏。这与 ResNet 的思路同源：把一个保底解免费送给优化器。

第四步：卷积层怎么归一化

卷积层有个额外约束：同一个卷积核滑过整张图，图上不同位置本就该被同等对待。所以 BN 不给每个位置各配一套参数，而是按特征图（通道）归一化——一个通道在「整批样本 × 所有空间位置」上的全部数值合起来算一份均值方差，共享一对 γ、β。参数量因此只跟通道数有关（几百个），统计量的有效样本数则从 m 涨到 m×H×W（批大小乘特征图高宽），估得更准。

第五步：推理时用什么统计量

训练时的输出依赖「同批的其他样本是谁」——这在推理时不可接受：给同一张图打分，结果不该因为它和谁凑成一批而变。解法是训练过程中用滑动平均攒下整个数据集的均值与方差（总体统计量），推理时改用这份固定的统计量。此时 BN 退化成一个固定的线性变换（乘一个常数、加一个常数），可以直接折叠进前一层的权重里，推理成本降为零。

第六步：为什么它能允许大得多的学习率

论文给的解释里最硬的一条是尺度不变性：把某层权重整体放大 a 倍，BN 的输出完全不变——均值和方差同步放大了 a 倍，在标准化里被约掉，即 BN(Wu) = BN((aW)u)。更妙的是对权重的梯度会同步缩小到 1/a：权重越大、收到的更新越小。这形成一个自动负反馈，参数不会在大学习率下失控膨胀。

还有一条副产品：正则化。一个样本经 BN 后的表示取决于同批还有谁，而每批是随机凑的，同一张图在不同轮次会得到略有抖动的表示；这份噪声起到类似 Dropout 的作用，作者索性把 Dropout 删了。

关键结果

先是 MNIST 上的玩具实验：三层各 100 个 sigmoid 单元的网络，加 BN 的版本收敛更快、精度更高；作者画出某个激活值在训练中的分位数曲线，无 BN 时分布持续漂移，有 BN 时迅速稳住——这是对「内部协变量偏移」这一诊断的直接证据。主实验则在 ImageNet 上用 Inception 做：

• 基线 Inception：训练 3100 万步达到 72.2% 的 top-1 准确率。
• BN-Baseline（只加 BN、其余不变）：约 1330 万步就达到同样精度，约 2.3 倍加速。
• BN-x5（学习率放大 5 倍）：210 万步达到 72.2%，比基线少约 14 倍的步数，最终精度 73.0%。
• BN-x30（学习率放大 30 倍）：初期反而慢些，约 600 万步达标，但最终精度冲到 74.8%——大学习率带来了更好的解，而不只是更快。
• BN-x5-Sigmoid（把 ReLU 换成 sigmoid）：达到 69.8%。作为对照，不加 BN 的 sigmoid 版本几乎完全训不动（准确率停在随机水平附近）。这一条最能说明 BN 在对付饱和。

最后，6 个 BN-Inception 模型集成拿到 ImageNet top-5 验证错误率 4.9%（测试集 4.82%），优于 GoogLeNet 集成的 6.67%，也低于当时对人类水平约 5.1% 的估计。为配合 BN，他们还去掉了 Dropout、把 L2 正则减到 1/5、学习率衰减加快 6 倍、移除局部响应归一化（LRN）、并更充分地打乱训练数据。

为什么重要 / 影响

BN 把「训练很深的网络」从一门手艺变成默认能跑通的常规操作：初始化不必千挑万选，学习率可以放心调大，训练时间按倍数缩短。同年稍晚的 ResNet 每个残差块里都嵌着 BN——「残差连接 + 批归一化」这对组合，是此后十年视觉骨干网络的标准配置。

更深远的是它确立了「归一化层」作为一类基本构件的地位。此后的 Layer Normalization（Ba 等 2016，按单个样本的所有特征归一化、不依赖批，正因如此成了 Transformer 与大语言模型的选择）、Group Normalization（Wu & He 2018，按通道分组，小批量下不掉点）、RMSNorm，全是沿同一思路的变体。今天打开任何现代模型，几乎必定能在每个块里找到某种归一化。

局限与批评

• 「内部协变量偏移」这个解释后来被质疑：Santurkar 等（NeurIPS 2018）做了个漂亮的反驳实验——在 BN 之后人为注入随时间变化的噪声、把分布偏移重新造出来，网络依然训得又快又好。他们给的替代解释是：BN 真正的作用是让损失曲面更平滑（改善损失与梯度的 Lipschitz 性质），于是梯度更可预测、大步长更安全。方法有效是牢固的，作者给的机理解释则未被后续研究支持。
• 依赖批大小、且把样本耦合在了一起：统计量从一个批里估，批小则噪声大——检测、分割这类每卡只放几张图的任务上 BN 明显掉点（Group Normalization、Batch Renormalization 正为此而生）；而「一个样本的输出取决于同批还有谁」这件事，也在对比学习、强化学习和多卡训练（各卡统计量是否同步）中制造过真实的麻烦。
• 训练与推理行为不一致：训练用批统计、推理用滑动平均，两者有偏差，是微调（fine-tuning）、迁移学习中常见 bug 的来源：换了数据分布却没更新统计量，精度会莫名其妙地崩。
• 与序列模型不合：句子长度可变、各时间步统计量也不同，BN 在 RNN 上很难用好——这正是 Layer Normalization 出现并最终统治 Transformer 的原因。
• 并非不可替代：后来的 NFNet（Brock 等 2021）用自适应梯度裁剪替代归一化也能达到同等精度，说明 BN 是一条极好用的捷径，而非唯一出路。

要点