Amazon Nova 推出可定制内容审核功能，引入新型遗忘学习技术 rDPO

Amazon 在其 Nova 系列基础模型上推出「可定制内容审核设置（CCMS）」，允许经审批的企业客户针对特定政策域选择性放宽模型的安全护栏。这项功能的核心是一项名为「反向直接偏好优化（rDPO）」的新型遗忘学习技术，通过 LoRA 适配器在参数层面实现定向修改，在减少过度回避行为的同时保留模型的通用能力。

背景：安全护栏与业务需求的冲突

基础模型在后训练对齐阶段习得的内容安全策略，往往同时阻挡了大量正当的商业用途。例如，媒体公司需要对包含成人语言的剧本进行摘要、安全团队需要生成示例钓鱼邮件用于员工培训、法律团队需要处理敏感证据，这些场景都会被默认的内容审核机制拦截。由于回避倾向已嵌入模型参数，仅靠提示工程无法绕过，需要在模型层面进行定向调整。

CCMS：四大可配置政策维度

CCMS 基于 Amazon Nova 提供四个可配置的负责任 AI 政策支柱：

安全：涉及危险活动、武器与管制物质
敏感内容：包括脏话、裸露与霸凌
公平性：围绕偏见与文化差异的考量
安全防护：涉及恶意软件与恶意内容

AWS 同时保留不可配置的基础控制项，例如防止对儿童的伤害与隐私保护。客户导入对应的 LoRA 适配器后，会获得一个唯一的自定义模型 ARN，推理时由适配器引导基础模型在客户批准的政策域内不再回避相应内容。

技术核心：从 DPO 到 rDPO

CCMS 的科学基础是「遗忘学习」，即有选择地从模型参数中移除特定行为而无需从头训练。AWS 在文章中对比了三种偏好优化方法：

DPO（直接偏好优化）：训练模型将「偏好回答」排在「不偏好回答」之前，是后训练对齐的常用方法。
NPO（负向偏好优化）：DPO 的变体，通过从优化目标中移除正向样本来实现遗忘，但仅让模型「忘记」，不引导其生成高质量替代回答，输出质量易下降。
rDPO（反向直接偏好优化）：AWS 提出的新方法，将 DPO 目标中的偏好对调换，同时驱动模型远离「遗忘回答」、靠近「目标回答」，兼顾遗忘质量与输出质量。

在训练动态上，rDPO 训练准确率在大约第 30 步即收敛至接近 1，而 NPO 的训练准确率几乎无明显变化；目标回答的奖励在 rDPO 中持续上升，在 NPO 中则持续下降。这说明在基础模型已有较强 RAI 对齐的情况下，rDPO 比 NPO 更高效地将模型行为引导至目标方向。

落地方式

客户使用时无需自行训练 rDPO，而是直接导入 AWS 提供的、已经过特定政策域「反对齐」训练的 LoRA 适配器，获得自定义模型 ARN 即可调用。该方案在工程上避免了对基础模型重新微调，降低了定制化部署的成本与风险，也为希望自行尝试类似偏好优化技术的团队提供了可参考的方法路径。