个性化头像生成：脸是那个写不进提示词的条件

一句话

上一章的条件是一句话，这一章换成几张照片——身份是唯一无法编码进提示词的条件。解法是用少样本把它「写进」模型：只学一个词向量（Textual Inversion）、整模微调并自带解药（DreamBooth 的先验保持）、或挂低秩旁路（LoRA）。但真正的系统难题在模型之外：每用户一份产物的存储与热插拔、「像不像」与「听不听话」互相拉扯的评估，以及肖像权——全书唯一一章里，防滥用不是加分项而是需求本身。

Glossary · 术语表

坐标

Part II 十道真题的第 9 题。Ch9 把文本接进扩散模型，本章换成图像，下一章再加上时间——条件一章加一维，是本书后半程的暗线。对应各类 AI 头像 App 与绘图工具里的「参考人像 / 角色一致性」。

这章要解决什么

先把场景钉死：用户上传 10–20 张自拍，选一个风格包，系统在几分钟内返回几十张职业头像——典型的异步产品形态，不是 Ch9 那种秒级同步出图。

Ch9 那套为什么不够？因为77 个 token 装不下一张脸。文本条件被语言离散化过，只能表达「语言里有词的那些东西」；而人脸的辨识力落在眼距、鼻唇沟、颧骨投影这类毫米级几何关系上——人脸识别模型要一个 512 维连续向量才装得下，语言里没有对应这些维度的词。

不解决会怎样？这里没有上一章那种「错得流畅」的退路：头像画得再精致，只要不是本人，产品价值直接归零——用户一眼就否。

另外两重约束几乎单枪匹马决定了后面的技术选型：

• 成本形状变了。 Ch9 是「一个模型服务所有人」，本章是「每人一份权重」。按整模存，百万用户 × 数 GB 就是 PB 级存储，且推理时无法与别人共享显存——账算不平。
• 输入是一张真脸。 上传的是不是本人？产出的能不能拿去骗人？在这一章，合规与防滥用不是附录里的非功能需求，是需求本身。

核心内容，讲透

一、三条路线的共同骨架：把样本本身当条件

既然身份说不清，就只能拿样本去教。训练目标没变——还是 Ch8 那个去噪损失：给照片加噪，让模型还原。变的只有一件事：这一轮允许改动哪些参数。三条路线的差别全落在这里：只改词嵌入表新开的一格、改整张去噪网络、还是在注意力层旁并联一条很窄的旁路。

二、Textual Inversion：不改模型，改字典

最轻的那条。扩散模型和文本编码器全部冻结，只在词表里新开一个伪词 S*，训练时只对它那一个嵌入向量求梯度：让模型看到「a photo of S*」时能把你的照片从噪声里还原出来。

白话就是——模型的本事一点没动，你只是给它的字典加了个词条。此后 S* 能像普通名词一样进提示词：「S* 穿宇航服，油画风」。

好处极诱人：产物只有一个向量、几 KB，词条之间可自由组合，且天生不可能污染基座——你什么都没改。

代价同样直白：表达力被一个向量的容量卡死。相似度是三条路里最低的，痣、发际线这类「恰恰用来认人」的细节常常丢掉；而且可训参数太少、梯度信号弱，训起来反而比 LoRA 更慢，常需上千步。它更适合装一种风格或一个物件——而这一章要的偏偏是脸。

三、DreamBooth：整模微调，以及它必须自带的那副解药

另一个极端。用罕见标识符 + 类别词组成的提示（形如「a sks person」）微调整张去噪网络，常连文本编码器一起训。

为什么要「罕见」？因为你需要一个模型几乎没有先验的符号来挂这张脸。用「john」会跟它已有的 john 打架，结果半个你、半个它想象中的 john。sks 这类无意义短串，是在词表里找一块空地。

但它有两个绕不开的副作用：

• 语义漂移（language drift）。 反复用「person」这个类别词训练，模型对整个 person 的理解都会被这十几张照片拽走——从此画任何人都有点像你。你污染的不是一个词，是一整个类别。
• 过拟合到背景与姿势。 十几张自拍多半来自同一个房间、同一个角度、同一种光，模型分不清「哪些是这个人」和「哪些只是那面墙」。

解药叫先验保持损失（prior preservation loss）：训练时额外喂一批模型自己生成的同类别图（「a photo of a person」，实现里常见两百张量级），要求模型在这批上的输出基本不变。白话就是一边教它「sks 是你」，一边不停提醒它「普通人长什么样」——用模型自己的旧知识给自己做正则。

它揭示了一条通则：用少量数据去改大模型，就必须同时准备好保住它原有能力的机制，否则你得到的是一个窄领域变强、别处变笨的模型。

相似度和可控性都是三条路里最好的，但产物是整份权重副本（Stable Diffusion 一系完整快照 2–4 GB 量级），每用户一份——这条存储死线把它挡在消费级产品门外。

四、LoRA：把「改动」本身压成低秩，也顺手解开了服务难题

全章工程上的落点。LoRA 的观察是：微调想做的事——把权重矩阵 W 挪一点——不需要满秩的挪动。于是冻结 W，旁边并联一条窄通道：

输出 = W·x + B·A·x，其中 A 是 r×d、B 是 d×r，秩 r 通常取 4–32

白话讲这个式子在说什么：把「允许挪多少」限制成一个很窄的形状。参数量从 d×d 掉到 2×d×r——d=1024、r=8 时约 1/64。只训 A 和 B，原权重一字节不改。它挂在注意力层的投影矩阵上，也就是 Ch9 里条件进来的地方——要改「模型怎么被条件牵着走」，动这几层性价比最高。

产物落到几 MB 到一百多 MB，比整模小两到三个数量级。但存储只是账面收益，真正的红利是服务形态：基座常驻显存，推理时按 user_id 把适配器叠上去、出完摘掉，一块 GPU 因此能轮流服务成千上万个用户；整模微调做不到——每人独占一份显存，GPU 利用率从设计上就废了。适配器作为独立文件还能进用户的删除流水线，这点下面会用到。

质量上它逼近 DreamBooth，所以实践中最常见的是两者组合：DreamBooth 的配方（罕见标识符 + 先验保持），产物落成一个 LoRA。

还有一条不训练的路：另训一个身份编码器，用现成人脸识别模型抽出身份向量，再开一路与文本解耦的交叉注意力注入去噪网络——用户来了直接推理，零训练、秒级出图，代价是个性化上限被编码器一次性定死。原书成于 2024 年，主线仍是逐用户微调。

五、评估：相似度越高不一定越好

三把尺子，互相拉扯：

• 身份相似度：生成图与用户原照各过一遍现成人脸识别模型，取人脸嵌入的余弦相似度；本章主指标。
• 提示词贴合度：Ch9 那把 CLIP score——你要的西装、雪山、光线给没给。
• 图像质量与多样性：FID 加人评。

本章最反直觉的一条：身份相似度单调上升并不是好消息。步数一路加上去，相似度确实继续涨——但后半段的涨幅来自模型开始复制训练照：你让它画「站在雪山上」，它给的还是那面书房白墙，只是脸更准。贴合度崩掉、多样性塌缩，主指标却一片飘红。

所以要画两条曲线：横轴训练强度（步数、学习率、秩 r），纵轴分别是身份相似度与提示词贴合度，在交叉区早停。这和 Ch9 里 FID 与 CLIP score 沿 w 反向移动是同一种病，只是旋钮从采样期搬到了训练期。再加一把本章独有的尺子：「是不是在复制」——生成图和训练照做近重复检测，命中就是过拟合的铁证。

六、做成服务：异步训练、热插适配器、以及删得干净

训练是异步作业，不是同步请求。 训一个用户的 LoRA 在单张主流训练卡上是分钟级（常见五到二十分钟），远超任何 HTTP 超时。形状因此固定：上传 → 校验 → 入队 → GPU worker → 产物落对象存储 → 回调通知。这也解释了产品为什么都做成「稍后通知你」。

推理端共享基座 + 热插适配器。 第一次为某用户出图要把几十 MB 的适配器从对象存储拉下来，同区域百毫秒量级；按活跃度做一层 LRU 缓存，冷启动基本看不见。

删除是这一章的硬需求。 注销时要删的不止原始照片，还有适配器本身——它是生物特征的派生数据，留着等于留着一份「随时能复现这个人」的能力。这给出一条硬架构约束：别把适配器 merge 进共享权重，一旦烘进基座就分不出来、删不干净；运行时叠加、用完摘掉才是可删除的形态。

七、肖像权与滥用防护：这一章唯一不能当加分项的需求

同一套能力用在别人的照片上就是深度伪造。所以防护必须设计进流程，而不是事后补一个过滤器：

• 输入侧：确认是本人。 引导式自拍（现场随机动作）比「传一个相册」强得多——后者等于允许任何人拿同事或前任的照片建模。这不是体验细节，它决定你的系统会不会被当成伪造工具用。
• 训练侧：拦名人。 上传照片对一个名人脸库做匹配，命中直接拒绝建模。
• 输出侧：过滤必须开，且比 Ch9 严一档。 那边出的是虚构人物，这边每一张不当内容都指向一个具体的、能被认出的人。
• 溯源：不可见水印 + 内容来源元数据。 但要诚实说它的限度：截图、重压缩、裁剪都会削弱它——它是证据链，不是防线。
• 合规：人脸属特殊类别数据。 多数司法辖区把「用于唯一识别自然人」的人脸数据列为需单独、明示同意的特殊类别；同意不能塞进通用条款，留存期限要写清。

关键权衡与选型

表 1 · 四条个性化路线怎么选

表 2 · 训练强度（步数 / 秩 r / 学习率）怎么定

还有一条进不了表、却最便宜的杠杆：照片该怎么收。十几张不同场景、不同角度、不同光线的自拍，显著好过四十张同一面墙前拍的——过拟合吃的正是「背景与姿势的共性」。这条落在产品引导文案上，不花一分算力。

为什么重要 / 落到真实系统

面试里被问「怎么做个性化」，答「微调一下」等于没答。这一章给的是三层能分别下手的抓手：改什么（词向量 / 整模 / 低秩旁路）、在哪训（每用户一次 / 一次性训个编码器）、怎么服务（独占显存 / 共享基座热插拔）。能把三层分开谈，就胜过大多数答案。

LoRA 的意义也早已溢出这一章：它今天是所有大模型定制的默认形态——语言模型的领域适配、绘图模型的风格包，同一套「冻结主干、挂低秩旁路」。

易错点与争议

• 把身份相似度当唯一指标。 那样评出来的冠军一定是「复制训练照」的那一版。必须和提示词贴合度一起看，再加近重复检测兜底。
• 以为 LoRA 的价值是省存储。 存储只是账面；真正的红利是共享基座带来的 GPU 利用率和适配器作为独立文件的可删除性。merge 进基座，这两样就同时没了。
• 把罕见标识符当玄学咒语。 sks 只是在词表里找一块先验最弱的空地；换成常见人名就会和已有语义打架。
• 忘了先验保持。 没有它，整模微调会把整个类别词拽走——从此画谁都有点像你。这不是超参数问题，是方法自带的必需部件。
• 时代局限。 原书成于 2024 年，主线是逐用户微调。此后编码器式零样本个性化在消费级产品里大幅铺开，把「等几分钟」压成秒级，代价是相似度与个性化上限。骨架没变：身份始终是一路独立于文本注入的条件。
• 真正的争议不在技术。 这套能力和它的滥用能力是同一件事——不存在「只能用来生成本人」的技术开关，约束只能来自流程：身份验证、留存删除、溯源、明示同意。把它当纯工程题答，是最大的误读。

要点