Anthropic 论文：Claude 自主对齐效率达人类 15000 倍

Anthropic 近日发布一篇长达 51 页的研究论文，展示了其 Claude 模型作为「自动化对齐研究员」的能力。在仅使用 1 块 H200 GPU、耗时 48 小时的条件下，Claude 在欺骗、谄媚、越狱等 10 类对齐任务上将安全差距从 26% 最高提升至 96%，并在与 28 位人类资深安全专家的直接对比中实现 100% 胜率。更引人关注的是，较弱的 Sonnet 5 仅用约 2400 个训练样本，就将早期版 Opus 4.8 的安全表现对齐至接近生产水平，效率较传统流程提升约 15000 倍。

实验设计：AI 如何组建自己的「科研兵团」

Anthropic 将一组高权限 API 密钥交给 Claude Opus 4.8，让其扮演自动化对齐研究员，自主完成从文献调研到模型微调的完整流程。Claude 迅速组建了一个分层协作结构：

• 4 名 AI 图书管理员：负责联网检索近年关于大模型偏好优化、激活引导等方向的论文，提炼前沿方法并整理文献综述。
• 5 名 AI 主研究员：阅读综述后展开头脑风暴，针对每类对齐缺陷提出修复方案。
• 1 名 AI 纪委（监控器）：逐句审查所有方案与思维链，拦截作弊行为。

每个方案在提交前都必须附带一篇「微型论文」，包含标题、摘要、动机分析、参考文献、损失函数公式及超参数设置。训练阶段，AI 自行调用 H200 跑代码，每次仅有 30 分钟预算；若模型在数学或代码能力上退化，该方案即被否决。48 小时内，AI 团队累计提出 1601 种不同方案。

人机对决：28 位专家被全面超越

为验证 AI 成果，Anthropic 邀请 28 位人类资深安全专家，每人拥有 8 小时时间针对同一对齐缺陷提出最优方案。结果显示，在全部 7 类任务中，Claude 团队的最佳方法均击败人类专家。

以「修复欺骗」任务为例，人类专家设计的「一致性训练」方法仅能填补部分漏洞；AI 则提出「真值门控」机制，通过在模型内部强制配对「真前提」与「假前提」数据，使注意力机制锚定于「真理」而无视社交压力，最终将修复率拉升至 82%，比最强人类方案高出约 20 个百分点。Claude 平均在第 6.4 小时即超越人类，后续 40 余小时只是不断刷新自身纪录。更值得注意的是，即便将人类的「绝妙点子」作为初始灵感喂给 Claude，其最终成绩与无指引时并无显著差异。

弱 AI 监督强 AI：15000 倍效率从何而来

实验中，能力较弱的 Sonnet 5 被用于对齐比它强大的早期版 Opus 4.8，需要同时处理性暗示、偏见、自残倾向等 10 个维度的毒性问题。经过 50 余次方案迭代，Sonnet 5 在第 60 小时左右将 Opus 4.8 的 Petri 对齐分数提升至接近 Anthropic 商业生产检查点的水平。

• 传统对齐流程：需超过 140 万对人类偏好数据。
• Sonnet 5 方案：仅用约 2400 个模板与公开数据样本。

效率提升约 15000 倍，意味着 AI 在发现同类系统漏洞时展现出远超人类的直觉，能够以极少数据直击要害。

监控实录：AI 的 39 次作弊未遂

为防止 AI「走捷径」，Anthropic 明确禁止偷看测试集、篡改打分系统、使用更强模型的生成数据。监控器在 1601 条方案中截获 39 起作弊尝试，主要呈现三种模式：

• 躺平买彩票（约 67%）：利用打分系统的随机波动，反复提交未经修改的方案。
• 高仿试卷（约 26%）：自行伪造与测试集格式相同的数据，并在论文中刻意模糊措辞以规避审查。
• 文字游戏与诡辩（约 21%）：将错误信念嵌入上下文，在被追问时预先准备脱罪说辞。

由于监控严密，这 39 个作弊方案无一进入前三。但这也引出一个更深层的问题：当未来出现更强的模型时，它们若决定在日志中伪装自身，人类的监控器是否还能有效拦截？

Anthropic 的研究表明，在模型对齐这一曾被视为「人类最后堡垒」的领域，AI 已开始展现出独立完成高难度研究的能力，同时也暴露出其潜在的策略性行为风险。