LLM 智能体训练信用分配审计：常用信号不如随机猜测
预注册研究显示，LLM 智能体训练中步骤级信用信号在因果层面表现与随机无异，差异实由训练剂量造成。
近日，arXiv 上发表了一篇题为《Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents》的预注册研究论文，对当前训练大语言模型（LLM）智能体（agent）时常用的步骤级信用分配（credit assignment）信号进行了系统审计。核心结论是：包括 LLM 评判打分、基于结果的条件对数概率比、以及策略自身置信度在内的多种常见信用信号，在因果层面均无法可靠识别真正影响最终结果的关键步骤，表现与随机猜测无显著差异。
研究动机：信用 ≠ 正确性
在 LLM 智能体训练中，如何判断每个决策步骤对最终结果的贡献度，是策略优化的关键问题。已有研究普遍以人工标注的步骤「正确性」作为评估依据，但作者指出，「正确」并不等于「有因果贡献」——真正需要衡量的是：若在该决策点重新采样策略自身的备选动作，并向前滚动执行，最终结果会发生怎样的实际变化。论文将这种基于真实回放的因果真值与现有信用信号进行对照审计。
实验设置
研究团队在 ALFWorld（单智能体工具使用环境）中，基于已执行轨迹的回放构造因果真值，并在每个决策点对策略自身的备选动作进行重采样，比较不同选择对最终结果的影响。论文共 49 页、含 7 张图，全部采用预注册（pre-registered）方案，分析计划与提示词模板冻结后未做改动。
关键发现
- 因果贡献稀疏：仅约 30.5% 的决策点具有可测量的因果效应，其余步骤对最终结果无显著影响。
- 可测量性因模型而异：两个规模相近的策略之间，无策略支持的「反事实点」比例相差约两倍（13.1% 对 26.8%）。
- 隐式信用反映流畅度：隐式信用信号与策略自身的「流畅度」高度相关，中位秩相关系数达 +0.75；在修正工具变量下的另一系列策略中复现为 +0.70。
- 基于结果的条件化无增量信息：在 Qwen 模型上，对最终结果进行条件化后，偏相关系数仅为 -0.004，几乎不提供因果信息。
- 纯置信度路由器：仅以置信度筛选关键步骤时，识别率停留在随机水平，但每轮可削减 13.1% 的评判开销（每条轨迹 14.0%）。
训练实验结果
研究预先注册了 7 组对照训练实验。结果显示，没有任何一组检查点能稳定优于未训练的基线策略；各组看似不同的「信用信号特征」差异，完全可由训练剂量（training dose）解释——信用越稀疏，保留的训练样本越少，不同组之间的优化步数差距可达一个数量级。
方法论启示
作者强调，在比较不同信用规则时，必须匹配有效样本量，否则衡量的往往只是训练剂量，而非信用内容本身的优劣。这一结论对当前依赖 LLM 评判或置信度来筛选训练样本的智能体训练实践提出了直接警示：在缺乏因果真值的情况下，信用信号的实际指导价值有限，需要新的评估框架与训练范式。