arXiv 新研究：大模型高置信度错误或属「稳定误校准」而非脆弱推理

大语言模型在给出错误答案时往往表现出高度自信，学界普遍将这种「高置信度错误」视为模型内部推理脆弱的证据。一篇发表于 arXiv 的研究提出了另一种解释：稳定误校准（stable miscalibration），即模型在面对小幅扰动时，错误的自信判断在局部上仍是稳定的。

研究问题：自信犯错究竟是脆弱还是稳定

此前的研究多关注大模型在不确定场景下的校准问题，以及如何通过弃答（abstention）降低决策损失。论文作者认为，如果高置信度错误仅仅是推理过程脆弱的副产品，那么通过自我批评式提示（self-critical prompting）就应该能显著降低错误率。相反，如果这些错误具有局部稳定性，就需要更系统的校准手段，而不仅仅是改写提示词。

方法：双重视角同时审视输出与隐层

研究团队构建了两类诊断工具：

• 输出层审计分数：在强制作答（forced-answer）基线下，对多领域二元事实审计集进行评估，按置信度变化与过度自信错误排序。
• 隐层敏感度探针：通过测量隐藏状态在各层之间的位移，量化模型内部表征对提示扰动的反应。

两者结合，使得研究者既能看到模型「说什么」，也能观察到模型「内部怎么动」。

主要发现

在多领域二元事实审计集上，研究得出几个值得关注的结果：

• 审计分数能较好地追踪「弃答感知下的自我批评」是否真正降低了决策损失，但直接使用带标签的基线对同一收益的排序更强烈。
• 在三个开源权重模型上，自我批评式提示一致地降低了跨层的隐层敏感度，提示诱导了一种局部稳定化机制，而不仅仅是输出层面的弃答模式。
• 关键发现是：审计定义的过度自信错误，在局部敏感度上并不明显高于「自信正确」的答案。也就是说，部分高置信度错误是稳定且误校准的，而不是单纯的脆弱推理。

意义与局限

论文的结论对模型部署具有现实意义：仅依赖提示工程或表面弃答策略，可能不足以纠正稳定误校准类型的高置信度错误。作者也明确指出，这一结果并不意味着提示干预无效，而是说明需要把校准问题与单纯的推理脆弱性区分对待。论文目前为 arXiv 预印本（编号 2608.13591v1），尚未经过同行评审，结论的普适性仍有待后续工作进一步验证。