Jacobian Lens 幻觉路由开源模型实测
Reddit 用户实测 Jacobian Lens 开源模型幻觉路由，Gemma 系列 AUC 提升明显，Qwen 无效…
Reddit 用户 RenewAi 在 Anthropic 发布 Global Workspace / Jacobian Lens 论文后，把这套思路搬到了开源模型上。最初只是出于好奇：不同提示（常规、情绪化、挑衅式、删除威胁等）、不同模型（base vs abliterated、小 vs 大）跑起来时，内部表征到底长什么样？实验很快被拉回一个更实际的问题——能不能在小模型自信胡说之前发个预警？
实验对象与可复现资源
作者为以下开源模型拟合了 lens：
- Gemma 4 E4B
- Gemma 4 12B
- Gemma 4 12B abliterated
- Gemma 4 26B MoE
- Qwen 3.6 27B
所有 lens、轨迹、router、demo、代码仓库已分别发布在 GitHub 与 Hugging Face 上，整体可以完整复现。
核心信号：工作空间雾化与熵斜率
先在每模型 500 道 TriviaQA 上做对照：当模型确实知道答案时，工作空间「很干净」——某一候选早期胜出，层间一致，最终层平稳收敛；当模型要自信地猜时，工作空间「雾蒙蒙」——多个候选在中后段仍在抢答，但最终层仍挑出一个流利的答案。
以 Gemma E4B 为例：
- clean workspace：正确率 77%
- noisy workspace：正确率 42%
随后作者用一个轻量逻辑回归拟合工作空间轨迹特征（熵斜率、late-band 熵、熵标准差、答案排名、层间一致性等），用来预测答案是否错误。结果如下：
| 模型 | logprob AUC | workspace AUC | combined AUC |
|---|---|---|---|
| Gemma E4B | .711 | .773 | .787 |
| Gemma 12B | .736 | .824 | .843 |
| Gemma 12B ablit | .731 | .799 | .812 |
| Gemma 26B MoE | .725 | .749 | .783 |
| Qwen 27B | .856 | .646 | .838 |
读法分两层：
- Gemma 全系：workspace 特征单独就能击败 logprob，组合后再涨一档
- Qwen 27B：logprob 本身已校准得相当好，workspace 特征反而帮倒忙，组合后仍不及单独使用 logprob
值得注意的是权重最大的特征是「熵斜率」——危险信号不是「雾」本身，而是雾在深层越积越浓。
落地设想：本地到云的轻量路由
作者勾勒了一条产品路径：
- 本地小模型先回答
- 取一次 workspace snapshot
- 一个小 router 给风险打分
- 若「自信但模糊」，就升级到搜索、加引用，或换更大的云端模型
E4B 上训出的 router 可以 zero-shot 迁移到其他 Gemma 模型，AUC 稳定在 0.74–0.78。整个 router 只是一个小型逻辑回归，强调轻量与可部署。
副发现：abliteration 让「我不知道」消失
在虚构实体测试中（50 条）：
- Gemma 12B base：17/50 捏造
- Gemma 12B abliterated：49/50 捏造
同权重不同行为：去掉对齐后，模型几乎不再承认陌生，会强行抛出一个流利的错误答案。这也解释了为什么 logprob 对虚构实体仍比较敏感——模型其实「知道」这个名字它没见过。
局限与下一步
作者明确表示，hidden states、probes、logit lens、幻觉检测这些技术都不新鲜，本文更窄的命题是：Jacobian Lens 工作空间轨迹能否作为一次性的「自信犯错」风险信号，用于本地到云的路由。
后续想测的方向包括：本地推理栈里的真实开销、轻量 router sidecar、更多模型家族、logprob 校准更差的数据集、工具调用场景、以及 abliterated 模型是否整体丢失「我不知道」信号。作者也欢迎做 evals、可解释性、本地推理或路由方向的同行交流或指出相关先验工作。