任务导向压缩研究:消费者敏感度决定编码胜负
预注册 12 域研究表明,下游任务最优编码可击败重建最优编码,且胜者随消费者变化而翻转。
一项预注册研究系统性地验证了一个反直觉的发现:在相同比特预算下,针对下游消费者敏感方向设计的编码,往往比「重建最优」的编码在任务上表现更好;而切换消费者后,胜者又会翻转。研究覆盖 12 个领域,所有预测与通过/未通过的门槛在实验运行前公开封存,正反结果一并发布。
研究动机:一个意外的量化偏差
起因是一个 4-bit KV-cache 量化器:其重建余弦相似度高达 0.995,但困惑度却飙升约 3 个数量级;相比之下,一个「重建表现更差」的逐通道量化器却完全可用。重建度量与下游任务指标彻底背离,这一差距正是整篇研究的出发点。
核心框架:消费者加权的失真度量
对输出散度为 D_Y 的消费者 C,二阶展开给出下游失真 ≈ tr(P_C Σ_δ),其中 P_C = E[JᵀGJ] 是消费者的 Fisher 加权敏感度,Σ_δ 是误差二阶矩。重建本身就是 P_C = I 这一对角情形的特例。理论层面,研究给出了:
- 消费者相对率失真函数 R(D) 的可达性与逆定理
- 两观察者逐次细化区域(最优误差协方差在 Loewner 序下嵌套时才可细化)
- 失配边界(错误加权某一读取方向带来有界率税;遗漏则形成任何码率都无法跨越的失真下界)
实证设计:12 域前瞻性测试
研究采用密封式预注册,涵盖合成到达角估计(ULA root-MUSIC)、Llama-3.2-3B 注意力 softmax 散度、宽带声学阵列、地震反方位角、77 GHz FMCW 雷达、ETHICS 道德分类等。关键结果包括:
- 合成 ULA 方向估计:6/6 翻转
- Llama-3.2-3B 注意力:盲探针在 16/16 次中选出任务更优的编码(重建余弦仅 7.5e-9,重建指标无判别力)
- 声学阵列 LOCATA:11/13 翻转
- 地震反方位角:76% 翻转
- 梯度压缩:理论预测为结构性零结果,实验证实「无翻转」—— 因为 Hessian 主方向与梯度能量方向重合
值得注意的是,多项结果为阴性:研究者预先注册的单统计量诊断在首次前瞻测试中失效,被迫替换为双轴方案;密度商猜想在四次前瞻测试中被否证。
与既有工作的关系与局限
研究将经典 Hessian 加权/损失感知压缩谱系(OBD→OBS→HAWQ→GPTQ)与间接/远程信源编码(Dobrushin–Tsybakov、Witsenhausen)纳入同一指标框架,并明确区分了新颖之处:盲探针对读取子空间的恢复、跨域前瞻性翻转的实证、以及编码定理。局限同样清楚:核心失真/可辨识性验证基于合成消费者;目前仅一个训练模型(Llama-3.2-3B)参与两编码对比,下一步双消费者反转实验已注册;部分行标记为探索性,不作为密封证据;作者为单人,实验与起草由 AI 辅助完成,验证协议与错误日志一并公开。
论文、理论附录与代码已分别在 Zenodo(DOI 可查)与 GitHub(ahb-sjsu/angular-observer、turboquant-pro、geometric-observation)发布,每一项数字均可在对应密封注册中找到出处。
