有害内容检测：图没问题、字也没问题，合起来才有问题

一句话

这一章表面是「做一个有害内容识别器」，内核是两个判断。其一，融合必须早做：有害往往不在图里也不在字里，而在两者的组合里，任何「各模态先各判一次再投票」的结构从原理上就看不见它。其二，输出必须是分数而不是判决：在正样本只占千分之几的分布上，任何一根阈值都是在「漏掉伤害」和「误删正常言论」之间硬选一边，所以真实系统把分数切成几档，把最不确定的那一档交给人。难点从来不在模型结构，在低底率下的阈值与人审产能。

Glossary · 术语表

坐标

本章是《ML 系统设计面试》Part II 十道真题的第 4 道。上承 Ch4 视频搜索——那里多模态是为了检索（把文字和画面钉进同一个空间好比距离），这里是为了判定（把多路信号汇成一个决策）；下启 Ch6 视频推荐。现实对应各大平台的 Trust & Safety 系统、评论区治理，以及今天每个大模型产品都要挂的那层内容安全过滤。

这章要解决什么

书设定的场景是一个数亿日活的社交平台，每天新增内容按十亿条计，帖子可同时含文字、图片、视频和外链。要挡的是暴力、色情裸露、自残、仇恨言论等若干类有害内容——注意书把它和另一个问题切开了：坏账号（机器人、诈骗、骚扰、刷量）是行为层面的问题，靠账号图谱与行为序列来打，不在本章范围。

为什么值得单独一章？因为前面几题都能靠「更好的模型」往前推，这一题不能。三条旧路各有各的死法：用户举报是事后的——代价按触达算不按条数算，一条爆起来的违规视频在被举报前就可能触达几十万人，而举报本身既滞后又稀疏；违禁词表挡不住对抗——发布方会主动规避（拆字、谐音、变体拼写、把话写进图片里），词表每更新一次规避方式就变一次；纯人工的产能算不过来——十亿量级的日增内容，就算每条只看两秒、一人一天不吃不睡看四万条，也要几万人同时在线才追得平。

所以这一章真正要回答的是：怎么在内容被大量看到之前给出一个可行动的判断，同时把它必然会犯的两类错误——漏检与误删——分别安置到能承受它们的地方去。

核心内容，讲透

第一个决定：早期融合，因为恶意藏在组合里

一条帖子有文字也有图，两条信息怎么汇到一起？晚期融合是文本、图像各判一次，最后合并两个分数；早期融合是各模态先编码成向量、拼接成一条完整特征，再交给一个分类器。晚期融合工程上诱人——可独立训练、复用现成模型、分别扩容。书仍选早期融合，两条理由，第二条更硬：

第一，晚期融合看不见跨模态的恶意。图无害、字无害、合起来才有害的内容（业界叫「良性混淆样本」，benign confounder），在晚期融合里两路都返回低分，合并之后仍是低分。这不是模型不够强，是结构性盲区——信息在能相遇之前，就已经各自被压成一个标量了。

第二，标签根本不是按模态打的。标注给出的是「这条帖子违反了哪几条政策」，没有分模态的标签。晚期融合要求每个模态各有一个能独立训练的分类器，也就要求额外造一份分模态标注——这笔账在十亿量级上压根不成立。

早期融合的代价也要认：交互空间大，要明显更多训练数据才学得动；吃不到各模态现成分类器的红利；某条模态缺失时整条特征还要补默认值。

第二个决定：多任务学习，而不是每类一个模型

要挡的不是一类内容，是一组政策：暴力、裸露、自残、仇恨言论……而且一条内容可以同时违反好几条。四种形态，书按序淘汰：

• 单个二分类器（有害 / 无害）。最省事，但只给一个分、说不出违了哪条。这是硬伤不是体验问题：没有类别，就没法分类定阈值、没法告诉作者原因、没法接申诉。
• 每类一个二分类器。能说出类别，代价是 N 份训练、上线与监控；更糟的是罕见类各自为战——自残这类的正样本量可能只有暴力类的百分之一量级，单独训喂不饱。
• 单个多标签分类器：一个模型、每类一个输出。便宜，但一份共享表示要同时服务差异极大的若干任务。
• 多任务学习：共享骨干学通用表示，上面每类接一个任务头。书的选择。

多任务赢在三处，第三处最实用：数据效率——罕见类蹭到常见类练出来的表示，正是「每类一个模型」补不上的那块；服务成本——一次前向出全部类别的分；每个头可以独立定阈值——不同品类的代价结构差着数量级，漏掉一条自残内容和误删一条措辞粗鲁的帖子不该共用一根线。代价是任务间可能负迁移，且改一类政策要重训整个骨干。

特征：模型之外的那一半信号

书把特征分三类，后两类常被面试者整块漏掉：

• 内容特征：文本走 BERT 系编码器，书特别点明要用多语言版本——平台是全球的，只在英文上训的模型换到低资源语言会直接塌；图像走预训练视觉编码器，视频先抽帧再编码。
• 作者特征：历史违规次数、账号注册时长、粉丝数。三天前注册、已被删过两次的账号，先验和十年老号完全不同。
• 上下文特征：浏览数、分享数、举报数、评论区文本。举报数是最强的一路，也是最危险的一路——可被有组织地刷起来，且天生滞后。它只能当特征，绝不能当触发器。

评估：为什么必须盯 PR 曲线

评估的全部困难来自同一件事：底率极低。算一遍就清楚。假设 100 万条帖子里有 1000 条真违规（底率 0.1%），一个召回率 99%、假阳性率 1% 的分类器——听起来相当能打——实际捞回 990 条真的，同时误伤约 9990 条正常帖。精确率不到 10%：每删十条，九条是冤枉的。

而它的 ROC-AUC 会非常漂亮：ROC 的横轴是假阳性率，99 万条负样本被 1% 误伤，横轴上才挪动 0.01。低底率下 ROC-AUC 会系统性高估模型，该看的是 PR 曲线——纵轴直接就是精确率。

线上换一套口径，书给的三个最该记住：违规触达率（prevalence，有害内容的展示次数占总展示的比例——按被看见多少次算而不是按条数算，才对得上伤害的真实分布）、主动发现率（proactive rate，在用户举报之前就被系统发现的比例）、有效申诉率（被删内容里申诉成功的比例，误删代价唯一可直接观测的量）。

关键权衡与选型

表 1 · 融合发生在哪一层

表 2 · 四种模型形态

表 3 · 分数怎么变成动作（阈值带 → 处置 → 谁付代价）

三档之外还有一条实操判据：人审队列不该按分数排，该按「分数 × 预计触达」排。一条 0.72 分但正在爆的视频，比一条 0.88 分却没人看的帖子更该先被人看到——代价是按触达算的。

为什么重要 / 落到真实系统

「多模态早融合 + 多任务 + 分数分档 + 人审回流」这套骨架，今天就是各大平台 Trust & Safety 系统的通用形状，也被整段搬进了大模型产品的内容安全层——输入过一遍、输出再过一遍，同样是多类别打分而非一刀切拒绝。面试高频追问三处：为什么不用晚期融合（跨模态恶意的结构性盲区，加上标签本来只打在帖子级）、ROC-AUC 0.99 为什么不敢上线（底率千分之一，精确率可能不到 10%）、人审队列怎么排（按分数 × 触达）。

易错点与争议

• 拿 ROC-AUC 汇报效果。千分之一的底率上，ROC-AUC 0.99 的模型完全可能每删十条冤枉九条。底率一低，就该报 PR-AUC 和给定召回下的精确率。
• 把人审当兜底，而不是当瓶颈。复审产能是个固定的数，它反过来倒推中间带能有多宽：先算一天能审多少条再倒推阈值，而不是先定阈值再指望人跟上。
• 忘了这是对抗环境。推荐系统的分布是慢慢漂移的，有害内容的分布是被对手主动推着变的——模型上线当天就开始被试探。持续重训、对抗样本挖掘、复审回流是常态运维。
• 默认标签是客观的。什么算仇恨言论，跨文化跨法域并无共识，标注者之间一致性本就不高。模型精度上限被标签质量卡死，而标签里的偏见会被放大到特定群体身上——分群评估（按语言、地区）是必需项而非加分项。
• 时代局限。书成于 2023 年，此后多模态大模型与「让大模型直接当审核裁判」成了新路线，本章手工搭的编码器组合看着已旧。但骨架反而更稳固：分档、人审兜底、结论回流、按触达排序，由代价结构而非模型能力决定，换什么模型都得有。

要点