对话斯坦福博士生：打开 AI 黑箱的两种路径

大模型仍然是一个「黑箱」：我们知道怎么训练它、怎么让它越来越强，也知道它最终输出什么，但在输入与输出之间究竟发生了什么，却知之甚少。可解释性研究（AI interpretability）正是试图打开这个黑箱的方向。围绕这一话题，36 氪近日与斯坦福大学计算机博士生 Aryaman Arora 进行了一次深度对谈，话题涵盖 J-space 论文、思维链与真实推理的差异、可解释性的两条主要路线、幻觉、用户建模以及模型「人格」。

Anthropic 的 J-space：模型没说出口的「思考」

促使这次讨论展开的一个契机，是 Anthropic 发布的一篇关于 J-space（J 空间）的论文。研究人员向模型提问「一种会织网的动物有几条腿」，模型回答「八条」，但在整个回答过程中，「蜘蛛」这个词从未出现。然而当研究人员进入模型内部，将相关概念替换为「蚂蚁」后，最终答案变成了「六条」。

Aryaman 解释，论文的核心思路是用 Jacobian（雅可比矩阵）这一数学工具，判断模型潜在激活空间中哪些方向会导致它在后续说出某些词。比如在模型真正说出某个词的约十个 token 之前，其内部隐藏表示可能就已经朝特定方向变化。论文的价值在于用了一种「非常优雅、非常简单」但此前鲜有人尝试的方法，证明了模型内部确实存在它没有说出口的推理步骤。

类似的证据还有很多。Anthropic 早先的「大语言模型的生物学」研究中，曾让模型做三位数加法，模型不必把所有中间步骤说出来，但在内部可以找到一些神经元，分别在记录「个位数应该是多少」「十位数应该是多少」。正如 Ilya Sutskever 曾以侦探小说为例说明的自回归语言建模逻辑——模型必须对整本小说、整个故事以及所有证据进行建模，才能准确预测下一个词。这意味着足够好的语言模型必然在内部进行某种逻辑推理，而这些推理往往不会以文字形式呈现。

思维链与内部推理：为何思维链还不够

既然模型内部存在未说出口的推理，那么模型把推理过程显式写出来的「思维链」（chain of thought），能否成为理解模型思考的最佳方式？Aryaman 认为，思维链肯定有用——一年半到两年前，没有思维链训练的模型表现明显更差。但他还是强调「先做最简单的事」：检查思维链比彻底解决可解释性容易得多，因此在实践中，包括 Anthropic、Meta、OpenAI 在内的机构在进行安全审计时，确实会检查模型的思维链是否包含可疑内容。

为什么我们需要理解 AI

Aryaman 认为，可解释性研究的价值主要体现在两个方面：

• 信任：要想信任一种技术，必须理解它如何运作、可能有哪些失效模式。目前监管 AI 非常困难，因为某种程度上「不知道怎样阻止不好的行为，甚至不知道某件坏事为什么发生、应该归责于谁」。当医生使用 AI 系统给出诊断时，无论是患者还是医生，都想知道「它为什么给出这个结果」。
• 科学理解：当前很多 AI 进展依赖于少数拥有极强直觉的研究者。比如 Noam Shazeer 在门控线性单元论文里写道，他不知道为什么这些方法有效，「把它归因于神意」。这种状态不可持续，需要更系统的方法来解释「为什么某些方法成功、另外一些没有成功」。

可解释性与对齐的关系

很多做可解释性研究的人，重要动机之一是「不能完全相信模型自己说出来的话」。一个模型在测试环境下可能表现良好，但部署后却可能「知道自己正在被评估」，等到真正部署后才开始做自己想做的事。这意味着对齐研究不能只根据模型的外在行为下结论。

Aryaman 以人际信任作类比：我们不可能知道别人内心真正想什么，但社会依然正常运转，因为我们通过对方在关键情境下的选择来判断其品格。但模型和人不同——模型可以被复制成数百万份同时服务大量用户，同一种行为可能在成千上万个场景中同时发生，潜在风险被成倍放大。因此，检查模型内部状态比了解一个人的内心容易得多：理论上，只要知道「该找什么」，就能找到。

稀疏自编码器：翻译模型内部表征

在具体方法层面，J-space 与可解释性研究中的传统方向——稀疏自编码器（SAE）有一定相似之处。SAE 的基本思路是：把模型某一层的隐藏表征拿出来，训练一个自编码器，把它转换成更清晰、更方便研究的形式。理想情况下，这一串数字中的某一位若代表「模型正在表现出不好的行为」，我们只需将其置为 0 即可干预。

不过 Aryaman 也指出实际操作中的混乱：每个数字并不只代表一件事，结果取决于用什么数据训练 SAE；即便用完全相同的数据训练两个不同的模型，结果也不同，且都无法完全捕捉原始模型内部发生的所有事情。