新预印本：滑动窗口注意力在长上下文推理上显著优于线性注意力

一篇新发布的 arXiv 预印本对当前 LLM 长上下文处理的主流路线——线性注意力——提出了直接挑战。作者认为，带 sink 的滑动窗口注意力（Sliding Window Attention with sinks，下称 SWA）这一相对简单的已有方案，在长上下文推理任务上的表现优于近年来实验室投入大量算力后训练出的线性注意力变体，且不需要额外的后训练开销。

核心发现：2 到 10 倍的性能差距

论文由 Alexia Jolicoeur-Martineau、Rhea Sanjay Sukthanker、Pashmina Cameron 和 Emy Gervais 撰写，重点在两个长上下文推理基准上对比 SWA 与线性注意力：

• Needle-in-a-Haystack（大海捞针）
• BABILong

摘要给出的数据相当直接：SWA 在这两个任务上的性能比线性注意力「高出 2 到 10 倍」。这并非小幅领先，而是量级层面的差距。SWA 本身被作者描述为「已有最简单的修复方案之一」，用以解决 Transformer 注意力机制的二次复杂度问题。

对线性注意力后训练路线的质疑

文章的核心论点不在于 SWA 本身有多新颖，而在于对当前研究方向的反思。作者写道：

• 「这条研究路线并未与更简单的基线进行充分对比。」
• 多个实验室「在后训练阶段投入了大量算力」来把现有模型改造为线性注意力，但这些工作的 benchmark 选择可能存在偏差。
• 线性注意力「可能展现了一定潜力，但要匹配 SWA 性能，可能需要从头训练或进行大量后训练」。

换言之，作者认为业界在追求更复杂的方案时，可能忽略了一个更简单且更有效的基线。

作者的明确建议

摘要给出的工程建议相当果断：

• 「我们强烈建议改用 SWA，而非后训练的线性模型。」
• SWA 无需后训练、推理速度快、显存占用低。

这意味着，对于希望在长上下文场景下降低推理成本的研究团队和工程团队，SWA 可能是性价比更高的选择，而不必投入到复杂的线性注意力后训练流水线中。

局限与待验证之处

在将该结论推广到工业实践前，仍需注意以下几点：

• 本文为 arXiv 预印本，尚未经过同行评审。
• 论文给出的对比集中在两个推理基准上，结论需要更多模型架构、更长上下文窗口以及不同类型任务上的复现验证。
• 工程层面，SWA 的实际部署权衡——例如注意力掩码的维护成本、与 KV cache 的兼容性、以及与现有推理框架的集成难度——在论文中尚未充分讨论。

如果该结论在更大规模的复现中成立，将对当前围绕线性注意力展开的若干主流研究方向产生实质性影响。