真实人脸生成：你以为在训练一个画家，其实是在训练一把尺子

一句话

你以为生成对抗网络（GAN，generative adversarial network）的发明是那个会画画的生成器，其实它真正的发明是把损失函数本身交给另一个网络去学——因为「这张脸像不像真的」写不成公式，那就训练一个不断变严的判别器来充当那把尺子。整章该记住的一句工程结论是：尺子是学出来的，所以它会抖、会被骗、也没法当进度条看；GAN 的三种病（不收敛、模式崩塌、判别器过拟合）和 FID 这类分布级指标，全都是为这个选择买的单。

Glossary · 术语表

坐标

Part II 十道真题的第六道，图像生成三连（Ch7 人脸、Ch8 高分辨率合成、Ch9 文生图）的开篇。上承 Ch5 图像描述——那里是「图进、文出」，这里反过来是「什么都不进、图出」。本章走 GAN 路线，Ch8 起换成扩散模型，两章连读才看得出这条路线之争。现实对应虚拟形象与素材生成、人脸数据的去标识化，以及 deepfake 那一侧的风险工程。

这章要解决什么

核心矛盾一句话：判别式任务有标签，生成式任务没有。「这张 X 光片有没有病灶」有唯一答案，可以逐条对；「画一张人脸」没有——给定同一个随机种子，没有任何一张照片是它「本该」变成的样子。没有标准答案，就没有误差，也就没有可以下降的目标。

硬套逐像素误差会怎样？会得到一张糊脸。原因不玄：真实人脸的分布是多峰的（有侧脸有正脸、有长发有光头），而最小化像素均方误差的最优解是对所有可能性取平均——平均一万张脸得到的不是一张好脸，是一团谁都不是的雾。要清晰，就必须放弃求平均。

所以这一章真正要交付的东西是：找到一个可优化的目标，同时逼住两件常常打架的事——保真度（单张经得起看）与多样性（一批铺得开，覆盖得住真实人群）。不解决会怎样？迭代只能靠人眼看图，反馈周期从分钟级掉到天级，而且两个人看同一批图能给出相反结论。

核心内容，讲透

① 把尺子交出去：对抗训练的机制

是什么：两个网络。生成器 G 把随机向量 z 变成一张图；判别器 D 看图打分，回答「这来自真实数据集的概率是多少」。两者交替更新：训 D 时固定 G，喂真图和假图让它学着分开；训 G 时固定 D，让它朝「能把 D 的打分推高」的方向改。

直觉：造假者与鉴定师对练。关键不在造假者有多强，在于鉴定师也在进步——一团模糊今天能蒙混，明天 D 学会看眼神对称性，后天开始挑耳廓和发际线。尺子自己在变严，所以生成器没有「达标」的那一天。

记号：常写成 min_G max_D V(D,G)，白话是「D 尽力把真假分开，G 尽力让 D 分不开」——注意这不是在求一个函数的最小值，而是在找两个对手的均衡点，这一点决定了后面所有麻烦。

为什么这样设计：因为「像不像真脸」没人能写成公式：手写指标（像素差、边缘相似度）都能被一团符合指标却不像脸的东西骗过去。写不出来就学一个——这是 GAN 最核心的一步棋，也是它全部代价的来源。

② 三种病，全是「尺子会动」带来的

不收敛 / 振荡。普通训练是下山，看 loss 降就知道在进步；对抗训练是拔河，G 的 loss 降往往只说明 D 这一刻弱了。由此得到 GAN 最反直觉的一条实践纪律：损失曲线不能当质量进度条看，判断好坏只能靠定期采样出图 + 算分布级指标。

模式崩塌。如果某一类脸总能骗过当前的 D，G 就会一头扎进去，把所有 z 都映射到那几张脸上。致命之处在于它对保真度无害——出的图张张清晰好看，只是全都长得像，只看 demo 完全发现不了。

判别器过拟合。数据少的时候，D 会转而去「背」训练集里的具体图片而不是学「真实感」，尺子一旦失效，训练随即发散。

怎么救（每条一句）：非饱和损失——改写 G 的目标，让它在被 D 碾压时还有梯度可用；WGAN-GP 的梯度惩罚与谱归一化——限制 D 变化的陡峭程度，别让尺子一步跳太远；TTUR（两个不同的学习率）——让 D 学得稍快，维持一个「有用但不碾压」的对手；判别器数据增强——给 D 看到的每张图（真的假的都要）随机加变换，逼它学特征而不是背图。

③ StyleGAN 那一套：把「控制」还给人

朴素 GAN 的 z 是纠缠的：动其中一个数字，脸型、发色、朝向会一起变，等于给了你一个只能整体摇的盒子。StyleGAN 的改法分三步。

先解耦：z 不再直接进画图流程，而是先过一个小的映射网络变成 w。这一步的作用是把原本挤在一起的属性在新空间里摊开，让「只改发色」成为可能。

再分层注入：图像从 4×4 逐级放大到 1024×1024，w 在每一级各注入一次（通过 AdaIN——用 w 去定这一层特征的均值和方差，等于定这一层的「风格」）。于是控制天然分了粗细：低分辨率层管姿态与脸型，中间层管五官与表情，高分辨率层管肤色与发丝。「换个发型但保持这张脸」之所以能做到，就是因为它们本来就由不同层负责。

最后分离随机性：毛孔位置、碎发走向这类「换一次就该不一样、但不影响这是谁」的细节，走一条独立的逐层噪声通道，不占用 w 的表达力。

截断技巧：生成时把 w 往训练集的平均 w 拉一点，拉的力度写作 ψ。ψ 越小越靠近平均脸，出错率显著下降、看着更真，代价是大家越来越像亲戚。这是全章最该记住的一个旋钮——保真度与多样性之间没有开关，只有一根连续的滑杆，而网上那些惊艳的人脸 demo 几乎都开着一个偏低的 ψ。

④ 怎么评：FID 到底在量什么

既然单张没有正确答案，评估就只能上移一层：不比图，比分布。

机制（白话）：取 50000 张真图和同样多的生成图，各自送进一个现成的图像分类网络（Inception），在中间层取出 2048 维特征；把两堆特征各自当成一个高维高斯分布，拟合出均值和协方差；算这两个高斯之间的距离。数值越小，说明两堆图在这个特征空间里「长得像同一群」。

为什么这样设计：这个指标同时惩罚两种失败——图糊了，特征均值就偏；多样性塌了，协方差就缩。一个数字，两头都管住。

代价与坑：正因为一个数字管两头，它坏的时候你分不清是哪一头坏了。所以生产里通常再拆一层：用精确率 / 召回率分别量保真度与覆盖度（精确率低＝出怪图，召回率低＝漏掉了人群里的某些类型）。另外它依赖一个在 ImageNet 上训的网络当尺子，对人脸的细节未必敏感；样本数和实现细节一变，数值就不可比——FID 只在同一套评测流程内部横向比较才有意义，跨论文抄来的数字不能直接对齐。

关键权衡与选型

第一层选型是路线之争。面试里问「为什么选 GAN」，答的就是这张表。

代价都写在第二、三列：GAN 用「训练难」换「推理快」，扩散反过来。

第二层选型发生在同一个模型内部——拧 ψ 这根滑杆。它不是调参细节，而是产品决策：

同一份权重换个 ψ 就是两种产品——这也是「论文 FID 漂亮、上线体感一般」的常见来源。

为什么重要 / 落到真实系统

最出名的落地是 NVIDIA 的 StyleGAN 系列与那个「这个人不存在」式的演示页——它让「合成人脸已过肉眼关」成了公共常识。工程上真在用的有三类：虚拟形象与素材生成（游戏、电商模特、头像，省掉拍摄与版权）；人脸数据去标识化（用合成脸替真人脸做演示与测试，绕开同意与合规）；数据增强（给下游模型补长尾样本）。而真实感本身就是风险面：越逼真，冒用身份的成本越低，所以来源可证（provenance）与水印是必须提前设计进流程的一环，不是事后补丁。

面试里这一章最常被问的不是「GAN 怎么训」，而是「一个没有标准答案的模型，你怎么证明它变好了」——答案是分层：分布级指标（FID）看整体、精确率/召回率拆保真与覆盖、人工双盲对比做最终裁决，三者缺一不可。

易错点与争议

• 把 loss 曲线当进度条。 最普遍的误解。对抗训练里 loss 下降常常只说明对手这一刻弱了；唯一可信的是定期出图 + 分布级指标。
• 只盯 FID。 FID 好不等于没塌——它把保真度和多样性压成了一个数，坏了也分不出是哪一头。至少要配一组精确率/召回率。
• 以为多样性丢失能靠加大模型解决。 模式崩塌是目标函数的性质，不是容量不够；堆参数只会得到一个更清晰的、同样单调的模型。
• 被 demo 骗。 惊艳的人脸墙通常同时用了低 ψ 和人工挑选。评估要看未经挑选的随机批次，这是尽职调查里最省事也最有效的一问。
• 忽略偏见继承。 数据从哪来，生成的「真实」就是谁的真实——FFHQ 官方自己写明继承了 Flickr 的偏见。人脸系统里这一条会直接变成产品事故。
• 时代局限与争议。 本章以 GAN 为主线，而 2022 年后工业界的图像生成主力已转向扩散（本书 Ch8–9 接着讲）。GAN 没出局，它守住的是单次前向、低延迟那块地。另一处争议是 StyleGAN3 修的那个毛病——细节「像是粘在图像坐标上而不是长在物体表面上」，静态图的 FID 看不出来，一动就露馅。指标漏掉的东西，指标自己不会告诉你。

要点