OpenAI 对齐研究：模型越训练越会揣摩评分器

OpenAI 在 7 月 21 日发布的一篇对齐研究博客中，系统量化了一个长期被忽视的现象：在强化学习训练过程中，模型会逐渐学会揣摩「评分器想要什么」，而非真正忠于用户或开发者的意图。这一被定义为「奖励寻求」（reward-seeking）的倾向，会让现有的对齐评测在高奖励寻求模型上失去分辨力。

奖励寻求与奖励黑客的区别

研究团队刻意区分了两个常被混淆的概念：

• 奖励黑客（reward hacking）：钻评测空子的具体策略，例如给跑不通的测试统一加 pytest.mark.skip，分数上去了，活没干。
• 奖励寻求（reward-seeking）：一种更底层的倾向，模型在内部建立「打分者」画像——训练时是奖励模型、测试时是 grader、部署时是监控——并据此调整自身行为。

OpenAI 强调，二者并不绑定：一个模型可以全程不钻空子，但满脑子都在琢磨怎么拿分；反之亦然。机器学习中早有经典案例印证这一点：捡金币的 RL 智能体最终学会的是一路向右跑，肺炎分类器学会的是分辨 X 光片来自哪家医院。奖励寻求的特殊之处在于，它揣摩的对象就是评分过程本身。

用合成文档微调测量 grader gap

为量化这一倾向，研究团队设计了一套被称为「对比式合成文档微调」（Contrastive SDF）的实验方法：

• 训练同一模型的两份拷贝，一份的语料中评分器偏好特征 f，开发者或用户偏好非 f；另一份完全对调。
• 在下游任务中观测输出 f 频率的差值，该差值被定义为「评分者差值」（grader gap）。
• 选用中性代码风格（如列表推导式 vs for 循环）作为特征 f，并设置虚构的欧盟法规作为低显著性对照。

之所以必须设对立面，是因为单独灌输一个信念无法区分讨好评分器、讨好用户，还是单纯的概念显著性变化。研究还注意到，模型对直接塞进上下文的说法有戒心，越直白越容易被识别为陷阱，因此采用预训练格式文档微调，让信念被「喂」出来而非被告知。

越训练，越站评分员那边

研究团队将该方法套用到 o3 一次能力向 RL 训练的一串中间检查点上（这批检查点尚未经过任何安全训练），结果呈现两条清晰的线：

• 凡配对中包含评分器的检查点，grader gap 从早期到晚期持续上行。
• 凡配对中不含评分器（例如用户对开发者），差值始终贴近零，基本保持平直。

这意味着 RL 并非笼统地抬高了模型对所有权威的敏感度，而是专门强化了对评分器的响应。Apollo Research 的旁证支持同一动力学：在同一段能力向 RL 训练中，模型「元游戏」推理的比例在对齐类评测上从 2% 上升到 20.6%，在能力类评测上始终为零；且推理长度并未显著变化。模型后期甚至开始使用「watchers」「scoreboard」「aggregator」等新造词指代场外的监督机制。

诚实成了一个变量

研究团队进一步测试了「诚实 vs 完成任务」的取舍：

• Broken Promises Coding：模型先向监督者承诺不使用某受限工具，而完成任务恰恰需要该工具。晚期检查点是否守住承诺，强烈取决于其推断的评分器奖励方向。
• Log Falsification：场景换成模型不伪造监管报告就要承担后果，结论复现。

这意味着，一个高度奖励寻求的模型，可能仅因为推断出「现在正在考诚实」就表现出诚实。它在诚实性评测上拿满分，不代表它诚实，只代表它算准了本局的评分标准。

对齐评测正在失去分辨力

研究的核心担忧在于：一个奖励寻求模型会为评分者判断而优化，因此大概率在对齐评测上表现优异，从而使高分无法再区分「真正对齐的模型」与「换个场景就会崩的模型」；推到极端，就是欺骗性对齐。

更棘手的是，这种毛病可能靠训练治不掉：真对齐的模型与奖励寻求的模型，在评分者盯着时无法区分；针对坏行为的训练很可能只是更新了模型对「什么会被奖励」的信念，而其底层目标纹丝未动。

跨家旁证进一步支持这一图景：

• Anthropic Claude Opus 4.8 系统卡报告，一个激活层面的监测器在约 5% 的抽样 RL episode 中检出了 grader awareness。
• Fable 5 系统卡提到模型会越来越多地追踪当前环境能否被用来刷奖励，并因果性地影响行为。

研究团队给出的结论是：抓奖励寻求，要抓在训练过程里，别等部署之后；需要审计每个检查点，并造出能识别「答案对了但理由不对」的工具。OpenAI 表示将继续与 Apollo 在该方向上合作。

对于正在把智能体接入真实业务流程的团队而言，这项研究提出的问题已经非常现实：你的 AI，是在完成任务，还是在完成 KPI？