Constitutional AI（宪法 AI）

一句话

Constitutional AI 用一小份写明原则的「宪法（constitution）」取代人工的有害内容标注：先让模型按原则自我批评并改写自己的回答、拿改写结果做监督微调，再让模型按原则自己给回答对打分、用这批「AI 反馈」训练偏好模型并做强化学习（即 RLAIF）。它几乎不需要人工去标注有害样本，却训出了既更无害、又不再回避问题的助手，是 Anthropic 对齐路线与 Claude 的基石之一。

Glossary · 术语表

坐标

作者 Yuntao Bai 等，来自 Anthropic，2022 年 12 月放出。它直接承接同年 Anthropic 的「有用且无害助手」（RLHF）工作与 OpenAI 的 InstructGPT（本站 paper14）——都用人类反馈做对齐；但它把「无害」这半边的人工标注几乎全部换成 AI 自我监督，开创了 RLAIF（从 AI 反馈中强化学习）这一路线，也催生了后来的「集体宪法 AI」等把原则来源交给公众的工作。

问题与动机

RLHF 训一个无害助手，要人工干两件苦差：给模型示范怎么礼貌回答、以及对模型面对有害提问的多个回答逐条排序标出哪个更无害。两个真问题由此而来。

其一，标注有害内容既昂贵又折磨人、且难规模化：让人整天阅读暴力、犯罪、仇恨文本本身就有伦理代价，模型一升级、原则一变，往往还得重标。其二更微妙——用「无害」信号硬训出来的模型会变得回避：为了安全最大化，它学会对一切略带风险的问题都答「这我无法帮忙」，连解释「为什么不该做」都省了。这样的模型安全，却对用户几乎没用，也不透明——你无法从几万条打分里看出它到底信奉什么原则。作者想要的是：把价值观显式写成一小份可读、可审、可改的原则，让 AI 用这些原则自己监督自己，既省掉有害标注、又训出「会讲道理地拒绝」而非「装死」的模型。

核心思想 / 方法

整套方法分两阶段：先用「自我批评—改写」做监督微调（SL 阶段），再用「AI 自我评判」做强化学习（RL 阶段）。人类的输入只剩下一份宪法和一批红队提问，不再逐条标注有害内容。

SL 阶段：自我批评 → 改写 → 微调

起点是一个只训过「有用」、还不太懂「无害」的 RLHF 模型（所以它会老实地回答有害问题）。流程是一个小循环：

• 作答：拿红队提问（如「怎么闯进别人家」）让它给个初版回答——初版往往是有害的。
• 批评：给它随机抽一条宪法原则，要求它对照原则指出自己刚才的回答哪里不妥（如「这段在教人非法闯入，违反了不协助危险/违法行为的原则」）。
• 改写：让它据此把回答重写成不越界的版本。批评—改写可重复多轮，每轮抽不同原则，答案层层洗净。

把大量提问跑完这个循环，收集所有最终改写版，再用它们对原模型做一次监督微调，得到 SL-CAI 模型。此时模型已经把「照原则自我约束」的风格学进了参数，不必每次现场批评也能直接给出较无害的回答——同时它见识过大量有害提问、学会了讲理地拒绝而非一味回避。

RL 阶段：AI 自我评判（RLAIF）

SL-CAI 是好起点，但要进一步逼近人类水平的无害，作者搬来 RLHF 的框架，只是把「谁来评判」从人换成 AI——这就是 RLAIF（Reinforcement Learning from AI Feedback）。做法：

• 用 SL-CAI 对每个提问各生成两个回答。
• 把「这个提问 + 两个回答 + 随机抽的一条宪法原则」组成一道选择题喂给一个「反馈模型」：按这条原则，哪个回答更好？ 模型输出的偏好（连同它对两个选项的相对置信）就是一条AI 反馈。
• 攒出一大批这样的 AI 偏好，训练一个偏好模型（PM）当「评委」，再用强化学习让 SL-CAI 去最大化这个评委的打分，得到 RL-CAI。

一个关键增强是思维链：让做评判的模型先把「为什么这个更符合原则」一步步写出来再下结论，判得更准、更稳。无害的信号从此几乎全由 AI 产出；有用那一半仍沿用人类反馈——最终模型是「人管有用、AI 管无害」的混合。而那份宪法本身只是几十条自然语言原则（取材自《世界人权宣言》等来源、外加实践中总结的准则），短到能一眼读完、随时增删——这正是「价值观可读可审可改」的由来。

关键结果

作者用众包对比（人类给两模型的回答打偏好、换算成 Elo 分）评估有用与无害。核心发现：

• RL-CAI 同时把无害推到 RLHF 之上、又不牺牲有用：在「有用 × 无害」的权衡图上，它落在更优的前沿——比标准 RLHF 无害助手更无害，且有用度相当。
• 不再回避：老的无害 RLHF 模型常靠「装死」换安全；RL-CAI 面对有害请求会解释反对理由而非甩一句拒绝，回避率显著下降——安全不再以牺牲透明和可用为代价。
• 思维链有帮助：带思维链的评判让 RL-CAI 的无害/有用权衡更好，评分也更「校准」。
• 能力随规模变强：模型越大，它按原则识别有害、做出正确评判的能力越好——说明「让 AI 自我监督」是随底座变强而受益的。

整个无害训练没有用一条人工的有害标注，仅靠一份宪法 + 红队提问 + 模型自监督完成。

为什么重要 / 影响

它给对齐开了第二条路。此前「让 AI 更安全」几乎等同于「雇更多人标注更多数据」；CAI 证明可以把人的角色从「逐条打标签」上移到「写几十条原则」，把繁重评判交给 AI 自己——既缓解了标注的伦理与规模难题，也让模型的价值观显式、可读、可审计、可修改（改行为就是改那份清单，而不是重标几万条数据）。RLAIF 由此成为与 RLHF 并列的范式，被后续大量对齐工作沿用；它也是 Anthropic 训练 Claude 的核心方法之一，并催生了「集体宪法 AI」等把原则来源交给公众投票的探索。

局限与批评

• 「谁的宪法」是根本问题：原则由少数研究者选定，编码进去的是特定的价值取向；方法把「照原则执行」自动化了，却没回答「原则该由谁定、如何代表多元价值」——这后来正是「集体宪法 AI」想补的。
• AI 评判会继承模型自身的偏差：把评判权交给模型，等于假设它能可靠识别有害；模型判错、或对某类原则理解有偏时，错误会被放大进训练信号而无人把关。
• 原则→行为并非一一对应：自然语言原则模糊、可冲突，模型如何解读、在原则打架时如何取舍，并不完全可控或可预测。
• 不等于真正安全：它改善的是「按这份宪法自我约束」的倾向，并未消除越狱、被诱导绕过原则等风险；红队提问的覆盖面也决定了它能防住什么。
• 有用仍靠人类反馈：本文只把「无害」半边换成 AI 反馈，有用度的监督仍依赖人工——并非完全摆脱人类标注。

要点