高分辨率图像合成：难的不是画得更细，是别在原尺寸上画

一句话

这一章把扩散模型（diffusion model）做成一个能出高分辨率图的系统，核心命题反直觉：高分辨率的瓶颈不在「画得够不够细」，而在「你在多大的画布上重复那几十上百步计算」。答案因此分两半——先用「加噪 → 去噪」把一次性的生成拆成一长串容易学的小步（换来训练稳定），再用一个自编码器把这串小步整体搬进一张 64×64 的潜表示上算（换来算力可承受）。读者要建立的认知是：生成系统的设计变量不是「用哪个模型」，而是「画布多大、走多少步」。

Glossary · 术语表

坐标

本章在全书 Part II「十个案例」里排第 7 个。上承 Ch7 用 GAN 做人脸——那条路让生成器与判别器对抗，训练不稳、容易模式崩塌；本章换成扩散路线，把「对抗」换成了一个朴素的回归任务。下启 Ch9 文生图：那一章是在本章这副骨架上接文本条件与无分类器引导。对应现实系统：Stable Diffusion、DALL·E 2、Imagen、Midjourney 这一整代出图产品。

这章要解决什么

两个痛，一个关于训不稳，一个关于算不起。

训不稳是上一章留下的：GAN 的目标是两个网络的博弈，谁强一点另一边的梯度就失效，分辨率越高越难配平，还可能模式崩塌（只会画那几张脸）。工程上的后果是训练过程不可预测——同一份代码同一份数据，换个随机种子可能就练废了，这对要排期、要复现的团队是致命的。

算不起是本章自己的：一张 512×512 的 RGB 图是 512×512×3 = 786,432 个数。扩散要把去噪网络跑 T 步，而最早的 DDPM 用的是 T=1000——意味着出一张图要做一千次全尺寸网络前向。更糟的是 U-Net 里的自注意力开销随位置数呈平方增长（O(n²)，白话说就是「位置翻一倍，开销翻四倍」）：512×512 有 26 万多个位置，在这个尺度上做全局注意力在工程上根本不成立。

不解决会怎样：你只能训出 64×64 的小图模型，再拿一串超分模型硬撑门面——每一级都要单独训练、单独部署，误差还会逐级累积。出图这件事会一直是「几家有大机房的公司才玩得起」。

核心内容，讲透

一、把「生成」改写成「去噪」：一件难事换成一千件易事

扩散模型定义了两个方向相反的过程。前向：拿一张真图 x₀，按一份固定配方逐步掺进高斯噪声，走 T 步变成纯噪声 x_T。这一步不含任何可学参数——它就是个加法公式。反向：从一团纯噪声出发，一步步把噪声减掉，直到一张图显影出来；这一步才是网络要学的。

为什么这个改写是整章的地基？因为它让监督信号自带答案：随机抽一张图、随机抽一个时间步 t、自己把噪声掺进去——网络该输出什么（刚才掺进去的那团噪声）是已知的。不需要人工标注，也不需要一个对手网络来当裁判。GAN 之所以难训，正是因为它的「标准答案」来自另一个同时在变的网络；扩散把这个动态目标换成了静态目标。

二、网络学的其实是一道减法题

训练目标朴素到不像一个「生成模型」：L = ‖ε − ε_θ(x_t, t)‖²。白话说就是——真正掺进去的那团噪声 ε，和网络看着带噪图 x_t 猜出来的 ε_θ，两者差多少，就是损失。一道普通的回归题，梯度稳、可复现、能按曲线排期，这正是它相对 GAN 的工程优势。

骨架用 U-Net：先一路下采样抓大结构、再一路上采样还原细节，同尺度之间用跳连把高频信息直接接过去——因为输入输出尺寸相同，它天然适合「逐像素预测」。时间步 t 被编成一个向量注入每个模块，等于告诉同一套权重：现在是第几步，该擦得多狠。这一点很关键：一千步共用一套参数，否则模型大小要乘以一千。

三、潜空间：把这几十步搬到草稿纸上

这是本章真正的转折。做法是先单独训一个自编码器：编码器 E 把 512×512×3 压成 64×64×4，解码器 D 负责还原。信息量从 786,432 个数降到 16,384 个数，压缩比 48:1。然后整个扩散过程只在潜表示上跑，出图时才解码一次。

为什么可行？自然图像的绝大部分比特花在人眼不敏感的高频纹理上，这部分交给一个确定性解码器复现就够了；扩散网络的容量应该花在语义和构图——画的是什么、摆在哪——而不是去复刻毛孔。顺带还解决了注意力那笔账：位置数从 26 万降到 4,096，平方级的开销跟着掉了三个数量级，全局注意力这才重新变得可行。

代价必须写清楚：编解码是有损的，压缩越激进（下采样因子 f=16、f=32）细小结构越容易糊掉。小字、人手、密集格栅这类高频规则纹理是重灾区——这一代出图模型的典型瑕疵，有相当一部分不是扩散网络画错了，而是解码器还原不回来。

四、上到 1024：级联超分 vs 更大的潜画布

潜空间把 512×512 变得可行，但产品要的是 1024×1024 甚至更大。两条路。

路线 A · 级联（cascaded）：先在低分辨率生成一张小图，再串一到两级扩散超分模型逐级放大（如 64 → 256 → 1024）。好处是每一级都小、可以分别训练和替换，低分辨率那级能把算力集中在构图上。代价是误差逐级传递——第一级把手画错了，后面两级只会把错误的手放得更清楚——而且总耗时是各级步数之和，部署上也要管三个模型。

路线 B · 放大潜画布：管线不变，把潜表示从 64×64 换成 128×128（对应出图 1024×1024）。好处是一条管线端到端一致，没有级间接缝。代价是显存与每步耗时随潜表示面积线性涨——边长翻倍即面积四倍，而且模型往往要在目标分辨率上再微调一轮，否则会出现构图重复（同一个主体画两遍）。

现实里两条常混着用：主管线走路线 B 出到 1024，再挂一级轻量超分兜到 2048 以上。

五、采样步数：唯一一个能在线上实时拧的旋钮

原始 DDPM 采样要老老实实走完 T=1000 步。DDIM 把采样改写成一个可跳步的确定性过程，用 20–50 步就能拿到接近的质量——注意模型不用重训，换的只是采样器。

这对系统设计的意义被低估了：步数是整条管线里唯一一个能按请求实时调、且几乎线性换延迟和成本的参数。同一个权重，预览图走 20 步、最终稿走 50 步，成本差 2.5 倍，不需要部署第二个模型。相比之下换模型要重新加载权重、重新预热，分钟级起步。

另一半是批处理（batching）：扩散的每一步都是同构的大矩阵运算，把多个请求的同一步打包送进 GPU 能把利用率拉满、显著抬高吞吐；但排批要等，会把单请求的 p99 抬上去。典型做法是给批设一个几十毫秒的等待上限，宁可批小一点也别让尾延迟失控。

关键权衡与选型

这一章的灵魂是两个选择：在哪张画布上算，和算多少步。前者定成本上限与画质天花板，后者定单次请求的延迟。

表 1 · 四条生成路线：什么场景该选哪条

表 2 · 采样步数怎么定（同一份权重，线上可切）

还有一个容易被跳过的选型：下采样因子 f。f=4 还原更准但潜表示更大（算力涨 4 倍），f=8 是业界的平衡点，f=16 以上省算力但细节塌得厉害。选 f 等于在「解码器能还原多少」和「扩散要算多久」之间划线，而且一旦定下就很难改——它决定了整套扩散权重的输入形状。

为什么重要 / 落到真实系统

这一章讲的不是某个模型的内部细节，而是2022 年之后整代出图产品共用的那副骨架：一个自编码器定画布，一个 U-Net 做去噪，一个采样器定步数。Stable Diffusion、DALL·E 2、Imagen、Midjourney 的差别主要落在数据、条件注入方式和分辨率策略上，这三块骨头是一样的。把这副骨架讲清楚，就能顺着往下解释 Ch9 的文生图、Ch10 的个性化、Ch11 的文生视频——它们都是往同一副骨架上挂东西。

面试里这一章最常被追问的是成本：给你每天 100 万张出图请求、单张 1024×1024，怎么定步数、怎么批、什么时候该上蒸馏权重、超分放在管线哪一级。能把「步数 × 潜表示面积 × 批大小」这笔账算到量级正确，比背出 DDPM 的推导有用得多。

易错点与争议

• 「步数越多越好」是错的。 边际收益迅速递减，50 步之后加到 150 步，肉眼差别常常为零，成本却是三倍。步数该由场景定，不该由「调到最高最保险」定。
• FID 不是画质。 它量的是两堆特征分布的距离，对人眼最在意的东西（手指数量、文字拼写、物体计数）几乎不敏感；而且对样本量敏感——样本少时系统性偏高，所以跨论文直接比 FID 数值通常不成立，只在同一评测设置下才有意义。产品上线前仍然要做人评。
• 把瑕疵全算在扩散头上。 潜空间那道有损压缩是独立的一层：小字糊、格栅乱，很多时候是解码器还原不回来，换更大的 U-Net 没用，得动 f 或换解码器。
• 「扩散模型是在检索拼贴训练图」是误解——它存的是参数不是图库；但这不代表训练数据的版权与授权不是真问题，那是另一个维度的争议，别用技术反驳把它搪塞过去。
• 时代局限。 原书成于 2024 年，此后两件事明显改写了这一章：一是少步蒸馏（一致性模型、对抗蒸馏）把可用步数压到 1–4 步，表 2 的第一档已经从「实验性」变成产品常态；二是骨架开始从 U-Net 转向 Transformer（DiT），因为它的扩展性更好。但「先压到潜空间、再迭代去噪」这个核心判断至今没变。

要点