arXiv 研究：MoE 量化中检测路由翻转比判断其是否有害更容易

近期一篇发表于 arXiv 的研究论文针对 Mixture-of-Experts（MoE）模型在低位量化下面临的路由不稳定问题，建立了因果分析框架，并给出了「可检测但难以选择性修复」的经验结论。论文标题为《Detecting a Route Flip Is Easier Than Knowing Whether to Fix It: Causal Route-Mediated Damage in Quantized Mixture-of-Experts》，作者明确表示此文不提出新的缓解方案，而是提供因果装置、经验发现以及检测极限结果。

研究背景与问题

Top-k MoE 路由器在本质上是离散的——token 根据线性门控分数跨越决策边界，从而确定哪些专家被激活。这种不连续性使得来自部署场景的数值扰动（例如将 4 比特 KV 缓存量化后由 BF16 门控读取）足以把 token 推过阈值，造成专家分配的「路由翻转」。研究者关心的问题是：在量化带来的整体性能损伤中，有多大比例是由路由变化所介导，以及能否在本地可观测的路由器统计量中识别出哪些翻转是「有害」的。

方法：四轮因果装置

论文设计了一套四轮运行的因果装置来量化「路由介导占比」（Route-Mediated Fraction, RMF），并在 token 级别做按机制分解。关键的实验设置包括：

• 基线架构：OLMoE-1B-7B，主实验采用 4 比特 KV 缓存配置作为试点。
• 预注册探针：方法学上提前注册假设、阈值与评估指标，并允许报告「miss」。
• 跨架构验证：在三种架构上迁移结论，进行预注册再执行。
• 同 checkpoint 控制：通过 flag-swap 控制门控归一化约定的范围。

关键发现

• 在 OLMoE-1B-7B 上以 4 比特 KV 配置测试时，约三分之一的量化损伤是路由介导的：发现集 RMF 约 0.31（置信区间 [0.20, 0.41]），过程复制均值 0.313 ± 0.020，预注册再执行得到 0.231。
• 路由器裕度（margin）能检测到「翻转是否发生」（AUC 0.772），但无法区分翻转是有害还是有益——在所有测试的本地、可推理时观测的路由器统计量中，找不到任何能以高于随机水平预测翻转损失符号的指标。
• 由此构成一个经验性的「收益检测屏障」，将选择性修复限定在该特征族内是不可能的。
• 符号翻转税与符号不可分性在跨模型上迁移；干净参考修复的收益呈现架构调制；同 checkpoint flag-swap 把门控归一化从「损伤幅度调节器」重新定义为「非路由可恢复机制」。

真实内核验证与局限

为避免完全依赖仿真量化，研究者用一个真实的 int4 KV 内核做了验证：所得比例与 fake-quant 剂量曲线相容，但检验功效不足，95% 置信区间为 [-0.111, 0.394]，包含零，因此只能排除「严重不一致」，尚不能作为独立复制。预注册的留出读数在样本外复现了损伤分配以及近似相抵的税，严格不可能性排除则勉强未达到显著。

意义与边界

论文的核心信息是：当前可观测的路由器特征足以发现翻转，但不足以判断某一个翻转该不该修。这一「检测易、修复难」的结论对于设计 MoE 量化感知路由器或后处理修复策略具有直接含义，但作者明确指出结论适用于其测试的局部特征族，跨族推广仍待后续工作。