引论与概览：生成式系统设计的七步框架

一句话

你以为生成式系统设计考的是「选哪个模型」，其实考的是模型之外的一切。本章是全书总纲，把「设计一个会生成内容的系统」拆成七步——澄清需求、定义成生成式任务、数据准备、模型开发、评估、部署与服务、监控与持续改进；并点破它与同系列上一部《ML 系统设计面试》的三处根本差别：评估没有标准答案、成本按 token 走、失败方式是「错得流畅」。这三点决定了后面十道真题的几乎所有取舍。

Glossary · 术语表

坐标

这是 Aminian、Sheng 与 Xu《Generative AI System Design Interview》（2024）Part I 唯一的一章，也是后面 Ch2–11 十道真题共用的模板。它上承同系列《ML 系统设计面试》的七步框架，但换了对象：那一部设计的是判别式系统（输出是一个标签或一个分数），这一部设计的是生成式系统（输出是一段序列、一张图、一段视频）。对应现实里的智能补全、机器翻译、对话助理、RAG 问答、文生图与文生视频这一整类产品。

这章要解决什么

拿到「设计一个 ChatGPT」「设计一个文生图产品」这种题，最常见的失败是一头扎进模型架构，聊 Transformer 多少层、扩散跑多少步——技术上不算错，却跳过了真正决定成败的几件事：延迟预算是多少（补全型要赶在用户下一次击键前出结果，业界常压在几十到一百毫秒；对话型首 token 等几百毫秒可以忍，但必须持续吐字）、单次请求能花多少钱、凭什么说这一版比上一版好、上线后怎么发现它在悄悄变坏。

更根本的痛点是失败方式变了。判别式系统错了，错得「显眼」：概率偏了、指标掉了、告警响了。生成式系统错了，错得流畅：HTTP 200、延迟正常、错误率为零，只是内容是编的。没有任何一个基础设施指标会告诉你这件事。 不解决它的后果是：一个 demo 惊艳、上线三个月后被用户截图挂到社交媒体上的系统。

核心内容，讲透

差别一：没有唯一答案、成本按 token 走、错得流畅

判别式模型把输入映射到一个有限的输出空间；生成式模型的输出空间是组合爆炸的——一段 500 token 的回答，可能性大致是词表大小的 500 次方量级（|V|^500，这里只要知道「大到不可能枚举」就够了）。三个后果贯穿全书：

（一）没有唯一正确答案，所以没有 accuracy 可算。两个回答可以都对、都好，只是风格不同——评估必须被设计出来，而不是选一个现成指标。

（二）成本从「一次推理」变成「按 token 计量」。 判别式模型一次前向就出结果，单次成本近似常数；生成式模型要自回归地吐 N 个 token，就是 N 次前向——输出长度直接等于成本，也直接等于延迟。这条约束在后面每一章都会回来咬人。

（三）失败是流畅的。 判别式模型不确定时会给出接近 0.5 的概率，这个信号能拿来设阈值、转人工；生成式模型不确定时照样一字一句说得很顺，置信度不外显。所以生成式系统必须额外造一层可见性——引用、接地检查、护栏、抽样复核——才知道它什么时候错了。

差别二：七步框架，以及它和上一部差在哪

和上一部的框架对照，最显眼的是两处变化：

特征工程基本退场。 判别式系统里最费工的那一步——把原始数据算成一列列特征——在生成式系统里被两件事取代：训练侧的数据策展（去重、过滤、配比）与推理侧的上下文构造（检索什么、放在提示的哪个位置、怎么在上下文窗口里排下）。上下文窗口就是新的特征预算：它有硬上限，塞什么、不塞什么是设计决策。

评估从一个环节变成一条主线。 上一部的评估是「离线算指标 → 线上 A/B」，两步就交代清楚；这一部因为没有标准答案，评估本身要先被设计出来：先定义什么算好，再决定谁来判、判多少条、怎么控成本。书里十道真题，几乎每题都要单独配一套。

差别三：第一步最值钱——把四条预算钉死

澄清需求这一步在生成式题里比判别式题更重，因为要钉死的是四条互相打架的预算：

• 延迟：补全型（几十毫秒，模型必须小）、对话型（TTFT 几百毫秒 + 稳定吐字，可用流式掩盖总时长）、离线生成型（文生视频跑几分钟也能接受）——量级差三四个数量级，直接决定模型能多大、能不能再加一跳检索。
• 成本：按 token 计费意味着「多说一句」是有价格的——成本在这里不是财务问题，是架构约束（见下面的大厂实证）。
• 质量：先说清「好」指什么——忠于给定资料（groundedness）、格式正确、还是风格贴合？不同定义导出完全不同的评估与技术路线。
• 安全：什么内容绝对不能出、什么输入必须拦、出了事谁来兜。

判据很硬：这四条没钉死之前，谈模型选型都是空的。

差别四：能力从哪来——四级阶梯，能不爬高就别爬

第四步「模型开发」在生成式系统里很少意味着「从头训一个」，而是在一条能力阶梯上选一级：提示工程 → RAG → 微调 → 继续预训练 / 从头训。每上一级，可控性变强，周期与单位成本各涨一个量级。

选级的判据朴素得出人意料：先问这一级治的是不是你的病。模型「不知道你们公司的事」是知识缺口，该上 RAG；「知道，但口吻不对、格式不对、不肯按流程走」是行为缺口，该上微调。把这两件事搞反——用微调去灌知识、用提示词去纠行为——是这行最常见也最贵的错。

差别五：评估——没有标准答案时怎么打分

三条路并用。自动指标（BLEU / ROUGE 比对参考答案、困惑度、图像用 FID）便宜到可以每次提交都跑，但它只量表面相似度，对开放式回答几乎失效——换一种说法说同一件事，分数会掉。模型裁判（LLM-as-judge）拿一个强模型按评分标准打分，能规模化到几万条、几分钟出结果，代价是它自带偏好：更爱长回答、受选项顺序影响、也偏爱同家族模型的输出。人工评审最准，但一条几十秒到几分钟，成本决定它只能抽样。

现实做法是分层：模型裁判跑全量当日常回归，人工抽样校准裁判本身，线上再用 A/B 或并排对战（Elo 评分）看真人偏好。一条可直接抄走的技巧来自 KDDI 做 RAG 应用的实践：把裁判评分从 1–5 分改成二元通过 / 不通过以压低方差，并按「文件格式 × 媒体构成」二维网格抽样，把评估工作量砍掉 75%。

差别六：部署与监控——延迟要拆成两个数

生成式服务的延迟不能用一个数概括，至少拆成 TTFT（首 token，决定「它有没有反应」的观感）与 TPOT（每个后续 token 的间隔，决定吐字跟不跟得上阅读——人的舒适阅读速度大致每秒十几个词）。这解释了为什么流式输出是几乎所有对话产品的默认：它把用户感知的等待从「总时长」压缩成 TTFT。

服务侧的三招全围着 token 转：连续批处理（把不同请求的解码步拼进同一批，GPU 不空转）、KV 缓存 / 前缀缓存（相同的系统提示只算一次）、量化与蒸馏（用更小的模型换单位 token 成本）。开源推理引擎 vLLM 把前两者直接写成了卖点：用 PagedAttention 管理注意力的键值显存，加上「连续批处理、分块预填充、前缀缓存」。

监控要盯的也不止 5xx：质量漂移（裁判分数缓慢下滑）、成本漂移（平均输出长度悄悄变长）、护栏命中率与用户否决率（重试、点踩）。

关键权衡与选型

表 1 · 能力从哪来：四级阶梯（周期与成本为业界常见量级，非书中数字）

表 2 · 三条评估路线：谁来判、判得起多少

• 上下文越长越好？ 塞满上下文是最容易犯的错：同时推高延迟与账单，且相关信息被稀释后效果反而变差。上下文预算要像特征预算一样省着花。
• 模型越大越好？ 延迟预算会先把模型规模钉死：补全型产品里，一个几十毫秒就出词的小模型，价值高过一个好一倍却来不及的大模型。
• 安全放在哪一层？ 训练进模型（对齐）更彻底但改起来慢；放在护栏层更快可迭代但容易被绕。真实系统两层都要。

为什么重要 / 落到真实系统

这一章的价值是给了一套跨产品的共同语言：无论做补全、翻译、对话、RAG 问答还是文生图，都落到同样几个问题上——延迟与成本预算多少、能力从阶梯哪一级来、评估谁来判、坏了怎么被看见。它也对应着真实团队的分工：检索与索引、推理服务（vLLM、TensorRT-LLM 这类引擎）、评估平台、安全护栏——今天这四摊活各自都是独立岗位。

易错点与争议

• 把「选模型」当成设计的主体。 面试里最伤分的开场就是直接报架构。模型只是七步里的一步，而且常是可替换的那步——不可替换的是评估方案和数据。
• 拿 BLEU / ROUGE 当开放式任务的验收标准。 它们量的是与参考答案的字面重合；换个说法说对同一件事会被判低分，反过来抄改参考答案却能拿高分。
• 迷信模型裁判。 LLM-as-judge 有长度偏好、位置偏好与同家族偏好；必须用人工抽样校准，而且裁判模型一换，历史分数就不可比——评估结果要连裁判版本一起记录。
• 把幻觉当 bug 去「修好」。 它是自回归采样的固有性质，工程上只能靠检索接地、引用可核验、护栏与抽样复核把它压低，不可能归零。承诺归零的方案通常在别处付出了代价。
• 忽略上下文长度的复利。 系统提示每长 1000 token，全站每次请求都要付一次；到百万日活量级，这是把架构决策直接写进账单。
• 时代局限。 本书 2024 年成书，其后推理模型（长思维链）、超长上下文与 Agent 化正在打破「一次请求 = 一次生成」的隐含假设——成本模型从「输出长度」变成「思考长度 + 工具调用轮数」。但七步框架与那三处根本差别并未过时。

要点