RLHF 偏好数据存评分者状态偏差：研究提出审计框架

一篇发表于 arXiv 的研究论文提出，RLHF（Reinforcement Learning from Human Feedback）所依赖的成对偏好标注，可能被评分者（rater）在标注过程中的心理状态系统性污染，进而影响奖励模型与策略优化的结果。该研究将这一现象命名为「rater state shift」，并构建了相应的审计框架。

核心发现：评分者状态是一种结构性混杂

论文指出，RLHF 中的偏好标签本应反映两个输出之间的相对质量，但在持续压力或负面情绪下工作的评分者，其偏好可能随时间发生漂移。这类漂移与普通的标注分歧或随机噪声不同——它具有以下特征：

• 状态依赖：随评分者所处条件变化；
• 群体共享：在相似条件下工作的标注者之间可能趋同；
• 链路传播：偏差可经奖励建模进入学到的奖励信号，并影响后续策略优化。

基于此，作者将 rater state shift 定义为一种「可被检验的结构性偏差来源」，并强调其与一般标注噪声的本质区别。

三个关键概念与可测量的代理指标

为使问题可操作化，论文正式定义了三个术语：

• rater state shift：评分者状态随时间的变化；
• rater state confound：评分者状态对偏好标签的因果影响；
• correlated rater state bias：在聚合后仍可保留并进入奖励信号的偏差。

此外，作者提出「survival level emotional authenticity」作为可测量的响应模式，利用词汇、语用、篇章与安全相关特征进行识别，为后续实证检验提供了抓手。

五个可证伪预测与初始审计协议

论文给出了五个可证伪预测（falsifiable predictions）以及对应的效应量阈值，作为初始审计的检验标准。这些预测覆盖了偏差如何存活于聚合过程、如何反映在奖励信号中以及如何在下游模型行为上显现等环节。

在审计协议方面，作者建议：

• 适用于公开可获取的指令微调模型；
• 不对任何特定部署模型的训练历史做推断；
• 通过对照实验与效应量阈值判定偏差是否显著。

论文同步给出了试点研究（pilot study）的设计思路，作为社区进一步验证该假设的起点。

研究边界与意义

作者明确表示，本文的目标是「隔离一个合理且可检验的偏差来源」，而非立刻推翻现有 RLHF 流程或指认具体模型。其价值在于：把一个长期被讨论但缺乏严格框架的直觉——即标注者状态会影响数据——转化为可被实证检验的科学假设，并提供了初步的测量与审计路径。若后续实证支持这一框架，RLHF 数据采集环节或将引入对标注者状态的结构化监控与质量控制。