文生图：难的不是画得好看，是让那句话真的管用

一句话

上一章解决了「画得快、画得大」，这一章补上另一半：可控。答案是两个动作——交叉注意力（cross-attention）把文本嵌进每一层去噪，让每个位置都能回头查询那句话；无分类器引导（classifier-free guidance, CFG）在采样时把「听话方向」按倍数外推，把服从度变成一个不必重训、能实时拧的旋钮。而最容易被低估的，是提示词在模型之外那几层：安全、改写、负面提示与缓存。

Glossary · 术语表

坐标

Part II 十道真题的第 8 题，也是全书「图像三连」的正中一环：Ch7（GAN 人脸）解决画得像、Ch8（潜空间扩散）解决画得起、本章解决画得对，下启 Ch10——把条件从一句话换成几张自拍照。对应 Stable Diffusion、DALL·E、Imagen、Midjourney 这类产品的完整链路。

这章要解决什么

上一章那套扩散模型给你的是一张好看但不受控的图。产品要的却是「一只戴着宇航头盔的柴犬，水彩风」——模型得同时对上主体、属性、关系、风格四件事，缺一件用户就重抽。

不解决会怎样？会得到生成式系统里最贵的那种失败：错得流畅——不报错、不留白，只是安静地漏掉「戴头盔」，画质却一流。更糟的是自动指标看不见它：FID 量的是「这批图整体像不像真照片」，一张完全无视提示词的高质量图照样能拿漂亮的 FID。所以这一章的问题是一对：条件怎么进去（机制），和听没听进去怎么量（评估）。

还有一层成本约束把设计空间夹得很紧。一个 512×512、50 步的请求在单张 A100 上是数秒量级；而下面要讲的 CFG 每一步要跑两遍网络，等于单请求成本直接乘 2。在这里，「听话程度」不是学术参数，是一条按倍数计费的旋钮。

核心内容，讲透

一、先把句子变成一串向量：文本编码器的三个选项

第一步是把提示词交给一个文本编码器（text encoder）——通常是现成的、训练时冻结不动的语言模型，输出每个 token 一个向量（Stable Diffusion 一系是 77 个 token 位）。这串向量就是后面所有环节要读的「条件」。不训编码器、让扩散网络学着去读它，既省算力，也让文本侧的能力可以整块替换——所以选哪个编码器是真正的系统决策，三条路：

• CLIP 的文本塔：它是跟图像一起对齐训出来的，天生「懂」视觉语义——听到 "golden retriever" 脑子里就有画面。短板是它见过的多是短标题，长句、语法结构、否定处理得弱。
• 纯文本大模型（如 T5 系）：长句、从句、计数和空间关系拆得准。短板是它从没见过图，扩散网络得自己把语言空间映到视觉上，训练更吃力。
• 两个都上：把两路输出拼起来，让扩散网络同时拿到「视觉直觉」和「语法精度」。SDXL 就是这条路。

一个好记的类比：CLIP 文本塔像看过千万张配图的美编，一听就知道大概长什么样，但读长句会串行；T5 像只读过书的文学编辑，句子结构拆得极准，脑子里却没有画面。

二、交叉注意力：条件不是开头交代一次，是每层被回头查询

拿到文本向量后，最朴素的做法是把它加到网络输入上。效果很差——那是一次性的、全局的交代，网络画到局部时早就记不清了。

真正管用的是在去噪网络（U-Net 或 DiT）的每一个块里插一层交叉注意力：潜表示上的每个位置出 Query，文本 token 出 Key / Value。白话就是——网络在处理左上角这一小块时，会回头把那句话再问一遍：「我这块该长成什么样？」然后按相关度从各个词那里取信息。

这一步解释了很多现象。为什么「头盔」只落在狗头那一片、不糊满整张画布？因为注意力天然是位置各问各的，生成过程中自发长出一张「谁听谁的」软对齐表；帽子那片区域和围巾那片区域，问的是同一句话里不同的词。

代价很小：文本只有几十个 token，这层注意力相对整张图的自注意力几乎不占成本。坑在别处——这张对齐表是软的、没人监督，所以「红帽子蓝围巾」常串成蓝帽子红围巾、「三只猫」常画成两只。属性绑定与计数是结构性硬伤，调参治不好。

三、无分类器引导：把「听话方向」直接外推放大

光有交叉注意力，模型对提示词的态度更像「参考一下」。要把服从度拉满，本章的主角才登场。

它的前身叫分类器引导（classifier guidance）：另训一个能在带噪图上分类的模型，用它的梯度把采样往目标类别推。毛病有两个——要多训一个噪声分类器，而且它只推得动「类别」，推不动任意一句话。

CFG 的点子是把那个分类器彻底扔掉。 训练时随机把条件丢弃（约一成的样本改喂空提示），于是同一套权重同时学会了「读着提示词去噪」和「什么都不读去噪」。采样时各跑一遍，拿到两个预测，然后沿着二者之差外推：

ε̂ = ε_uncond + w · (ε_cond − ε_uncond)

白话讲这个式子在说什么：两个预测之差，就是「这句话到底把画面往哪个方向拽」；w 是把这股推力放大几倍。w=1 等于原样不放大（就是普通条件生成），w=7 就是顺着这个方向多推六倍的距离。直觉上，它等于对模型说：别只是参考，往「更像这句话」的方向再走远一点。

三条必须记住的性质。其一，它是采样期的，不动权重——同一份模型就能把 w 开成一根用户滑杆。其二，代价是每步两次前向，算力与延迟翻倍（把两条分支拼成一个 batch 能摊掉部分开销，但浮点量是实打实的两份）。其三，拧大不是纯赚：贴合度上升，多样性和真实感下降——过饱和、构图套路化，w 极大时出现数值溢出导致的色块（Imagen 的动态阈值就是为压这个）。

四、提示词在系统层该由谁承接

这是本章最「系统设计」的一节，也最容易被当成产品细节略过。用户打的那句话不能直接喂模型，中间至少四层：

• 双侧安全过滤。 输入侧拦提示词（分类器 + 规则），输出侧还要再过一遍生成图（成人内容、真人肖像、商标）。两侧都要：绕过文字过滤太容易——换拼写、用隐喻、拆成几个词，模型照样懂。
• 提示词改写 / 扩写。 用户写「一只猫」，模型训练时见到的标题却又长又具体。中间放一个 LLM 把短提示扩成详细描述，贴合度改善显著。代价是把用户的原意改掉了，所以通常要回显改写后的提示，并留一个「按原文来」的开关。
• 负面提示（negative prompt）。 一个反直觉的免费午餐：CFG 里那条「无条件」分支并没有规定必须是空提示。把它换成「模糊、多余的手指、水印」，外推方向就自动变成「远离这些」。它不是玄学，就是同一条公式的背面，且一行代码、零额外算力（那一遍反正要跑）。
• 确定性与缓存。 把 (提示词, 种子, 步数, w, 模型版本) 定成缓存键：同一组输入必出同一张图。一条设计买到三样东西——可复现（客服能重放用户看到的图）、可审计（追得到是哪个版本出的）、可省钱（命中直接跳过整个去噪循环）。有爆款提示词的产品里，这是最大的一笔省。

关键权衡与选型

这一章可落地的决策主要是两个：文本那一路用什么，以及 w 开多大。

表 1 · 文本编码器怎么选

表 2 · CFG 强度 w 怎么定

还有一个权衡进不了表：改写放哪一侧。推理侧扩写改得快、可随时回滚，但每个请求多一跳延迟和一份 token 成本；训练侧（用详细合成标题重训）更彻底，但一次几周起步、短期无法回退。多数团队先上推理侧，验证有效再谈往训练侧搬。

为什么重要 / 落到真实系统

面试里被问「怎么让它更听话」，答「换个更大的模型」等于没答。这一章给的是三层能分别下手的抓手：换文本编码器（贵，要重训）、改条件注入方式（贵，动架构）、调 w 与加改写层（便宜，当天能上）。按成本从右往左排，就是一份能直接复述的行动顺序。

评估同样是考点。只报一个数是错的：FID 量真实感、对「听没听话」近乎失明；CLIP score 量贴合度、却能被「把关键词字面糊进画面」刷高。更要命的是两者会沿 w 反向移动——w 一拧大，CLIP score 上去、FID 掉下来。所以要扫一遍 w、报一条曲线而不是一个点，最后仍靠人评兜底。

易错点与争议

• 把 CFG 当画质旋钮。 它是贴合度旋钮。拧高画质往往反而掉——颜色过饱和、构图套路化。用户抱怨「图不好看」时先看 w 是不是被调高了，而不是去换模型。
• 以为 CFG 免费。 每步两次前向，单请求算力 ×2。做容量估算时若按一次前向算，产能会直接少一半。
• 属性绑定、计数、文字渲染是已知硬伤。 交叉注意力那张对齐表是软的、无监督，「红帽子蓝围巾」串色、「三只猫」画成两只，都是结构性的，不是调参能根治。图中文字长期是弱项，后来主要靠更强的文本编码器和字符级处理改善。
• 把负面提示当玄学。 它只是把 CFG 的无条件分支换成一句话；懂了公式就知道该往里写什么（要远离的东西），而不是抄一串咒语。
• 时代局限。 原书成于 2024 年，此后两件事改写了这一章：骨架大面积从 U-Net 转向 DiT；少步蒸馏让 1–4 步出图成为常态，而蒸馏模型常把引导「烤进」权重，外面那个 w 不再意味着两次前向。但「交叉注意力注入 + 采样期外推」这套骨架至今没变。
• 训练数据的版权与授权仍是未决争议。 「模型存的是参数不是图库」这个技术事实，不构成对授权问题的回答——那是另一个维度，别用它搪塞。

要点