引论与概览：ML 系统设计的七步框架

一句话

全书总纲：把「设计一个带模型的系统」拆成七步——澄清需求、翻译成 ML 问题、数据准备、模型开发、评估、部署与服务、监控与基础设施。核心洞见是模型只是系统的一小块：决定成败的是它两端——前端「业务目标怎么翻译成 ML 目标」，后端「线上怎么证明它有用、怎么发现它变坏」。

Glossary · 术语表

坐标

这是 Aminian & Xu《Machine Learning System Design Interview》（2023）Part I 唯一的一章，也是后面 Ch2–11 十道真题共用的模板——每道题都严格按这七步走一遍。它上承 Xu 前两卷的「四步法」，但换了战场：那两卷的对象是确定性系统（写进去什么读出来什么），这一卷是统计系统（输出是概率、正确性只在统计意义上成立）。对应现实中的推荐、搜索排序、广告、风控、内容审核这一整类业务。

这章要解决什么

ML 设计题的开放度比纯系统设计题更高，新手最常见的失败模式只有一种：一上来就谈模型——「我会用一个 Transformer 做双塔召回」。技术上可能没错，却跳过了真正决定成败的环节：业务目标是什么、正负样本怎么定义、特征从哪来、离线涨了线上涨不涨、上线三个月后怎么知道它还灵。

更根本的痛点是：ML 系统的失败是静默的。传统服务坏了会 5xx、会超时、会告警；一个漂移的排序模型不会——延迟正常、错误率为零，只是推荐质量在几周内慢慢滑坡，直到业务周报上才被发现。不解决这件事的后果是：你会造出一个跑得很好、却在悄悄亏钱的系统。七步框架就是把这些「模型之外」的环节逐个钉在纸面上。

核心内容，讲透

第 1 步 · 澄清需求：把开放题收敛成可设计的题

「设计一个视频推荐系统」这句话里，几乎每个词都待定。要问清：业务目标（提升观看时长还是新用户留存？两者最优解不同）、要支持哪些功能（能不能点「不感兴趣」）、数据（有哪些数据源、有没有标注、能否用行为当隐式标签）、约束与规模（算力预算、多少用户、多少条内容、每天多少请求）、性能要求（推理延迟上限、实时性）。

产出不是设计，是一张把题目边界钉死的清单。量级差一个数量级方案就完全不同：候选集是 1 万条还是 10 亿条，决定要不要引入近似最近邻检索；延迟预算是 500 毫秒还是 30 毫秒，决定模型能多大。

第 2 步 · 翻译成 ML 问题：这一步定了，后面全定了

这是全章最有价值、也最多人跳过的一步，包含三件事。

（一）定义 ML 目标。业务目标是人话，ML 目标必须是模型能优化的量。书里用一张表把两者并排：视频平台「提升用户参与度」→「最大化用户观看时长」；有害内容检测「让平台更安全」→「准确预测一段内容是否有害」；好友推荐「让用户更快建立社交关系」→「最大化成功建立的连接数」。翻译得越糙，系统跑得越偏——把「参与度」粗暴翻成「最大化点击率」，模型就学会推标题党。

（二）指定输入与输出。同一需求，定义不同就是两套系统。书里的例子最清楚：有害内容检测可以做成一个多标签模型（输入一段内容，同时输出「暴力 / 裸露 / 仇恨言论」各自的概率），也可以做成每类一个二分类模型。前者省算力、共享表示，但加新类别要重训整个模型；后者每类可独立迭代、独立调阈值，代价是训练与服务成本乘以类别数。

（三）选择任务类别。监督 / 无监督 / 强化学习；监督之下再分分类与回归。最常被误判的是排序类问题：推荐、搜索、信息流看着像分类，真正要的却是一个可排序的分数，所以通常建模成学习排序（learning to rank）或表示学习（representation learning）——用户和物品各编码成一个嵌入、用向量相似度当分数，十亿级候选才能靠近似最近邻先粗筛。

第 3 步 · 数据准备：这里才是真正的工作量

分两半。数据工程：数据源（用户产生、系统产生、第三方）、存储选型、ETL 管道，以及数据类型——结构化（数值型、类别型）与非结构化（文本、图像、音视频）。特征工程：把原始数据变成模型吃得下的形式，四个常规动作——

• 缺失值处理：删除或填补（均值 / 中位数 / 默认值）。填补引入偏差，删除丢信息，没有免费午餐。
• 特征缩放：归一化（压到 [0,1]）、标准化（均值 0、方差 1）、对数变换（治「粉丝数」这类跨几个数量级的长尾特征）。
• 离散化 / 分桶：把连续值切成区间（如年龄分档），用少量信息损失换对异常值的鲁棒性。
• 类别特征编码：整数编码（有伪序关系风险）、独热编码（类别一多维度爆炸）、学习嵌入（高基数类别如「视频 ID」的标准解，几百万 ID 压成几十维）。

难点不在算法，而在训练与服务的一致性：离线用 SQL 算的特征和线上用另一套代码算的特征，只要口径差一点（时间窗口对不齐、缺失值填法不同），线上效果就会莫名其妙地掉——这就是训练-服务偏斜（training-serving skew）。

第 4 步 · 模型开发：先立基线，再谈复杂

模型选型权衡的不止准确率：训练数据量、特征数、训练速度、超参数个数、算力需求、可解释性。书里给的路径很朴素——从简单基线（baseline）起步：先用启发式规则或逻辑回归跑通全链路，再逐步换复杂模型，每一步都跟基线比。理由是：一个跑通了数据管道、评估与上线流程的笨模型，比只活在 notebook 里的好模型有用得多。

模型训练要处理：构造数据集（定义特征与标签、采样策略、划分训练 / 验证 / 测试集、处理类别不平衡——CTR 场景正样本常只占千分之几，靠重采样或调损失权重）、选损失函数、从头训练还是微调预训练模型，以及规模上去后的分布式训练（数据并行：每张卡一份模型各算一批数据；模型并行：模型本身切开放到多张卡上）。

第 5 步 · 评估：离线指标涨了，线上不一定涨

离线评估用留出的历史数据打分，指标按任务类型走：分类看精确率 / 召回率、F1、ROC-AUC 与 PR-AUC；回归看 MSE / MAE / RMSE；排序看 precision@k、MRR、nDCG（@k 指「只看最前面 k 个」——用户不会翻到第 50 条）；生成任务看 BLEU / ROUGE / FID。

在线评估看的是另一套：业务指标——点击率、观看时长、下单转化、留存、营收。两者没有稳定的对应关系，这是本章最该记住的反直觉结论：离线 AUC 涨了 2 个点，上线一测业务指标纹丝不动甚至倒退。原因通常是离线数据带着旧系统的曝光偏差（你只有「被推荐过的内容」的反馈，没推过的根本没标签），或者 ML 目标和业务目标本就没对齐。

第 6–7 步 · 部署、服务与监控：上线才是开始

部署要决定三件事：放哪儿（云端还是端上）、怎么压小（蒸馏：小模型学大模型的输出；剪枝：去掉贡献小的参数；量化：32 位浮点降到 8 位整数）、怎么上（影子、A/B、金丝雀、交错实验、赌博机——见下节的表），以及预测管道选批量还是在线。

监控回答一个问题：模型为什么会在生产环境里变坏？头号原因是数据分布漂移——用户行为变了、内容生态变了、上游某个数据源悄悄改了口径。所以要盯两类指标：运维指标（延迟、吞吐、资源利用率、可用性）与 ML 专有指标（输入特征与输出预测的分布有没有偏移、有真值回流时准确率随时间的曲线、线上跑的是哪个模型版本）。

关键权衡与选型

表 1 · 云端部署 vs 端上部署

表 2 · 批量预测 vs 在线预测

表 3 · 怎么在生产环境里测一个新模型

三张表是同一条主线：每个选择都在拿「更准」换「更慢、更贵或更难改」。面试真正考的不是你认识多少种方案，而是能否在给定量级与延迟预算下说清为什么选这一种。

为什么重要 / 落到真实系统

这套框架的价值不止在面试。它对应业界通称的 MLOps：特征平台、实验平台、模型注册表与版本管理、漂移监控。Google、Meta、Netflix、Airbnb 的内部 ML 平台，拆开看基本就是这七步的工程化。

在面试里，它给你的是节奏：45 分钟，前 5 分钟澄清需求、5 分钟翻译 ML 目标并定死输入输出，中间 20 分钟压在数据特征与模型选型，最后 10 分钟讲评估与上线监控。跳过第 2 步直接讲模型，是这类面试最常见的失分方式。

易错点与争议

• 把业务目标直接当 ML 目标：「提升参与度」翻译成「最大化点击率」，模型就学会推标题党；这种错配不会在离线指标上暴露，只在几个月后的业务数据里显形。
• 拿离线指标当交付标准：离线分数涨只说明模型在历史数据上更准，而历史数据带着旧系统的曝光偏差。没有在线实验的结论，就不算验证过。
• 忽略训练-服务偏斜：线上线下特征口径不一致，是「离线好、线上差」里最平凡也最常见的原因，还很难从模型侧查出来。
• 把「监控」理解成盯延迟和错误率：ML 的失败是静默的，只盯运维指标等于没监控。
• 时代局限：本书 2023 年成书，十道真题都在判别式模型的世界里；生成式系统（评估没有标准答案、成本按 token 计、失败方式是「错得流畅」）要另一套框架，那是同系列下一本的题目。另外七步是线性叙述，真实项目常在第 3、4、5 步之间来回好几轮。

要点