DecodeShare：发现 LLM 解码阶段的跨任务共享子空间

在大语言模型（LLM）的推理过程中，KV 缓存机制下通常划分为预填充（prefill）与解码（decode）两个阶段：前者负责理解并编码输入提示，后者按自回归方式逐 token 生成输出。然而，长期以来一个基础问题并未被充分回答——在这两个阶段中，模型的隐藏状态是否真的使用了同一套任务通用结构？来自 arXiv 的新论文 DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions（2607.20469v1）正是围绕这一问题展开。

研究目标：区分预填充与解码阶段的内部表示

论文指出，尽管 LLM 由同一组参数支撑多种任务，但在 KV 缓存推理下，并不清楚所谓的「任务通用结构」究竟在哪个阶段起作用。DecodeShare 的核心目标，是把预填充阶段与解码阶段各自承担的「任务通用表示」拆分开来，并验证其在功能上的因果角色。

方法：识别并干预低维共享子空间

作者提出名为 DecodeShare 的协议，包含两步：

• 识别：在多个任务上提取解码阶段的隐藏状态，找出其中稳定共享的低维子空间；
• 因果干预：仅在解码阶段对该子空间施加扰动，并对比扰动预填充子空间或随机子空间的影响。

这一设计的关键在于「只在解码阶段介入」，从而把干扰来源严格限定在生成 token 的内部表征上。

实验发现：共享子空间是高杠杆因果通道

论文报告了几项主要结论：

• 在相同干预预算下，扰动解码阶段发现的共享子空间，对决策性能的破坏远大于扰动预填充派生子空间或随机子空间；
• 这一共享子空间在大小上极为紧凑（compact），却承担了显著的因果作用，作者称之为「高杠杆因果通道」（high-leverage causal channel）；
• 多个常见的激活引导（activation steering）方向会与该任务通用解码通道发生重叠，仅在引导阶段而不在预填充阶段评估引导向量，可获得更可靠的部署信号。

也就是说，预填充阶段的代理信号并不能稳定地代表解码阶段真正起作用的组件，二者并不等价。

对激活引导的实践意义

DecodeShare 提供了一种直接分离两种组件功能角色的手段：

• 通过把共享子空间投影出去，可以把任务通用通道与任务特定信号分离开来；
• 在解码阶段评估引导向量，比依赖预填充代理更接近实际推理路径，因此对下游部署更可靠。

这一结论对正在研究表示工程（representation engineering）、steering 与可解释性的团队具有直接参考价值。

代码与后续工作

论文配套代码已在 GitHub 开源（仓库：Zishan-Shao/decodeshare），方便研究者复现与在更广泛模型与任务上验证。论文为 arXiv 预印本（v1），尚未经过同行评审，因此方法与结论仍有待在多模型、多规模下的进一步检验。