ChatGPT：难的不是把它变聪明，是把「续写机」调成「助理」

一句话

你以为 ChatGPT 的难点是把模型做得更聪明，其实知识在预训练那一步就基本定死了；这一章真正在解的是目标错配——预训练教的是「预测下一个 token」，产品要的是「听懂指令、按人的偏好作答、该拒绝时拒绝」。解法是三段式（预训练 → 监督微调 → 偏好对齐），而它的核心工程直觉只有一句：当「好」写不成损失函数时，就把人的两两比较训成一个可优化的打分器。

Glossary · 术语表

坐标

Part II 十道真题的第三道。上承 Ch3 翻译——那里至少还有参考译文可比，这里连参考答案都没有，评估方式必须整套换掉；下启 Ch5 图像描述，把生成从纯文本推到跨模态。现实对应 ChatGPT、Claude、Gemini 这类通用助理，以及任何「多轮对话 + 工具 + 安全边界」的产品后端。

这章要解决什么

预训练的目标只有一个：给定前文，预测下一个 token——它学的是互联网上的文本接下来长什么样，而网上一个问题后面常常跟着另一个问题、一段广告、一个目录。于是基座模型的典型失败不是「不会」，而是答非所问、继续出题。

第二层麻烦是「好」定义不出来。翻译至少有参考译文，代码至少能跑测试；而「帮我写封辞职信」的好回答有无穷多个，好坏取决于长度、语气、要不要反问、有没有越界——既写不成规则，也标不出唯一答案。

第三层是安全第一次成为系统需求：足够流利的模型会把有害内容说得同样流利，失败形态是「错得流畅」，不是报错。

不解决会怎样？会得到一个知识渊博却不可用的模型：格式不稳、听不听指令全看运气、随时可能被一句话诱导出不该说的话。这一章的全部工作，就是把「会说话」变成「会办事且守规矩」。

核心内容，讲透

一、三段式：每一段在买不同的东西

预训练买知识与语言能力：无标注文本、万亿 token 量级，算力是三段里的绝对大头。监督微调（SFT）买格式与意图：人工写的「指令 + 理想回答」示范把输出分布拽到「应答」这一侧，便宜见效快，天花板也明摆着——示范要人一条条写，而且它只能说「这样是对的」，说不了「那样更差」。

偏好对齐买排序：人不写答案，只在模型自己产出的几版里挑好坏，数据生产率高一个量级，信号形态正好补上 SFT 的缺口。一句话概括：能写示范就写，写不动了就改成挑选。

二、奖励模型：把说不清的「好」压成一个标量

做法：同一个提示采样多版回答（常见 4–9 个），人排序，再用这些序对训一个打分模型，目标直白——让被选中的回答比落选的得分高。

为什么是比较而不是打分？因为绝对分数在人与人之间不可比：同一个回答，严格的标注者给 3 分、宽松的给 5 分，噪声大到淹没信号；而「A 和 B 哪个好」的一致性明显更高。这是整章最值得带走的一条方法论：绝对标准不存在时，退一步只要相对判断。

代价也在这里：奖励模型只是人类偏好的一个有限拟合，它自己的偏见（偏长、偏格式漂亮、偏自信语气）会被下一步忠实放大。

三、PPO 与那根绳子

强化学习这一步的循环是：策略模型生成 → 奖励模型打分 → 往高分方向小步更新。PPO 的「小步」很重要，但更要紧的是目标里那一项 KL 惩罚——量新模型的输出分布离冻结的 SFT 参考模型有多远，走远了就扣分。

没有它会怎样？模型会去攻击奖励模型而不是取悦人：发现长答案得分高就无限加长，发现套话得分高就句句套话；同时丢掉原有能力，这笔损失叫对齐税。所以 KL 系数是这一段最要紧的旋钮：调小了跑偏，调大了学不动。

成本感觉：微软 DeepSpeed-Chat 公开的端到端数字里，13B 模型在 8 张 A100 上跑完三段约 13.6 小时，其中 PPO 独占 10.8 小时。对齐的算力大头不在训奖励模型，在那个采样—打分—更新的闭环上——工程上它也最重：策略、参考、奖励、价值四个模型要同时待在显存里。

四、对话的记忆：上下文窗口是硬约束

多轮对话最朴素的做法是每轮把全部历史重新拼进提示。它的问题不是「记不住」，是账算不过来：一轮 500 token，20 轮就是 1 万 token；注意力的计算量随长度平方增长（长度翻倍、这部分成本约翻四倍），KV cache 的显存随长度线性增长且每个并发会话各占一份——先撞墙的往往不是上下文上限，而是显存决定的并发数。

所以真实系统把「记忆」拆成几层：系统提示（固定，可复用缓存）、近期原文（最近 k 轮，保语气与指代）、压缩历史（更早的轮次滚动摘要），再加一层可选的长期记忆：用户的稳定偏好写进外部存储，需要时检索回来。

两个常被忽略的坑：摘要有损且不可逆，摘掉的细节以后问不回来；长上下文里靠中间位置的信息更容易被忽略，要紧的东西要放在最前或最后。

五、工具调用：把不会的事外包出去

模型有三样天生不行：不知道训练截止之后的事、不擅长精确计算、看不见私有数据。解法统一——让它输出一段结构化调用请求，系统执行后把结果回填进上下文，模型再接着生成。

工程上盯三件事。延迟：每次工具往返 = 一次完整前向 + 工具 RTT，两三轮下来端到端就从几百毫秒涨到数秒，所以要卡住最大调用轮数、能并行的一起发。可靠性：模型会调错工具、编造参数，参数得按 schema 校验，失败要有重试与兜底话术。信任边界：工具返回的内容进了上下文就和用户指令混在一起——提示注入正是从这里进来的，外部内容必须标明来源，且绝不赋予它指令权限。

六、安全与评估：没有标准答案怎么验收

安全是三道防线叠起来的：训练期用安全偏好数据把拒绝行为训进模型，输入侧分类器拦明显违规的请求，输出侧再过一遍。流式输出让第三道防线变难——字已经吐到屏幕上，撤回代价很高，只能分块延迟校验或接受「先吐后撤」的体验损失。

评估也要整套换：困惑度与用户满意度几乎不相关。可用的组合是人工成对比较（两版盲测，按胜率或 Elo 排序）+ LLM-as-judge（用强模型批量做同样的成对判决，便宜可回归，但有位置偏差与长度偏好，要靠交换顺序等手段纠）+ 红队 + 在线指标（点赞率、重新生成率、人工接管率）。

还有一条产品级取舍绕不过：过度拒绝。安全阈值一调高，违规率下去了，正常请求被拒的比例上来——这是对齐里最典型的一条两端都疼的曲线。

关键权衡与选型

表 1 · 三段训练：各买到什么

表 2 · 对齐路线：四种做法

表 3 · 对话记忆：四种做法

为什么重要 / 落到真实系统

这套骨架远不止聊天机器人：任何「好不好只能由人判断」的产品都长这样——文案生成、代码助手、客服质检、AI 评审。先用示范定格式，再用成对比较定偏好，用一个替身打分器把人的判断规模化，最后死盯替身被优化坏的那天。

面试里它最值钱的一句是：把「模型答得不好」翻译成「偏好信号出了什么问题」。说出「这个 badcase 不是知识缺失，是奖励模型偏好长答案，我要在偏好集里补一批『简短且正确 > 冗长且正确』的对照」，比背任何模型名字都有说服力。

易错点与争议

• 以为 RLHF 在教知识。 知识在预训练就定了，对齐改的是行为分布与表达偏好，几乎不加新事实。答不上来的事，对齐救不了。
• 以为 SFT 就够。 示范只能说「这样是对的」，说不了「那样更差」；而人写一条示范的成本，是挑一次好坏的十倍量级。
• 忘了 KL 约束。 没绳子的优化必然滑向 reward hacking：答案越写越长、套话越堆越多，指标一路上涨，用户体验一路下跌。
• 把奖励模型当真理。 过度优化一个拟合出来的替身必然偏离——Goodhart 定律的教科书现场：指标一旦成为目标，就不再是好指标。
• 把上下文窗口当硬盘。 它是工作台，用完就清空；跨会话的记忆必须显式存取，还要考虑用户能不能查看和删除。
• 低估流式下的安全撤回。 违规内容逐字吐到屏幕上时再拦就晚了——产品形态给安全设计加了一条硬约束。
• 用单点打分或困惑度验收。 前者标注者之间不可比，后者与满意度几乎无关。
• 忽视谄媚与过度拒绝这对孪生副作用。 二者同源：模型学的是「人会喜欢什么」，而人当下喜欢被赞同、标注者也倾向给谨慎回答更高分。它们不是 bug，是这套目标函数的自然产物，只能靠数据配比与专门评测去压。
• 时代局限。 本章以 PPO 三段式为主线；书出版前后，DPO 这类跳过独立奖励模型的方法、以及用模型代替人做标注的 RLAIF 已大量替代它，推理模型还把「可自动判对错的奖励」放回强化学习。但根本约束一条没变：开放生成没有唯一正确答案，好坏只能靠比较定义。

要点