阿里清华论文入选 ICML 杰出论文：质疑扩散语言模型任意生成顺序

ICML 2026 于 7 月 5 日公布杰出论文名单，阿里巴巴与清华大学联合发表的《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》成功入选。杰出论文是 ICML 最高荣誉，通常仅授予 2–3 篇，获奖率约为接收论文的千分之一。该论文对当前备受关注的扩散语言模型（dLLM）方向提出了系统性质疑，并给出一个出人意料简洁的改进方案。

研究背景：扩散语言模型的「灵活性」承诺

扩散大语言模型（dLLM）被视为下一代语言模型的重要架构之一，Google 的 Gemini Diffusion、中国人民大学的 LLaDA 等均属此方向。与 GPT、Qwen 等主流自回归模型「从左到右逐个生成 token」不同，dLLM 在生成文本时可以任意选择 token 的生成顺序，理论上拥有更大的解空间，因此近一两年被学界寄予厚望。然而，阿里与清华的研究团队首次提出：在数学、编程等通用推理任务上，任意顺序生成非但不能提升模型能力，反而会构成一种陷阱。

核心发现：熵退化现象

研究团队从推理逻辑链的角度分析了任意顺序生成的问题。他们指出，推理过程中的关键逻辑节点（如「因此」「所以」）相当于分叉口：

• 在自回归顺序下，模型必须在每个分叉口当场做出选择，无法跳过。
• 在任意顺序下，模型倾向于绕过这些难点，优先处理简单的部分；等回头再填充关键节点时，前后文已经确立，原本的推理分叉口变成了填空题，答案被上下文锁定。

研究者将这一现象命名为「熵退化」——选择的自由度被悄悄消解。实证数据表明，在 HumanEval 代码生成任务中，能被从左往右顺序解出、但任意顺序解不出的题目占比达 21.3%，反向仅 0.6%；且顺序自由度越大，推理性能越差。

解决方案：JustGRPO

基于上述发现，团队提出了一种「大道至简」的方案——JustGRPO：放弃任意顺序，在强化学习训练阶段强制模型从左到右生成，直接使用主流的 GRPO 算法即可。GRPO 的核心思路是让模型对同一道题生成多组答案，通过组内优劣对比来优化策略。此前各团队为 dLLM 设计强化学习算法时，因生成顺序不固定而难以准确归因每个词的贡献，不得不引入复杂手段；JustGRPO 则反其道行之，用最简单的训练方式获得了最佳效果。

实验结果与意义

JustGRPO 训练完成后，模型推理速度不受影响，但推理效果大幅提升。在 GSM8K（业界标准推理能力测试集，含约 8500 道多步推理小学数学应用题）上达到 89.1% 准确率，全面超越 d1、ESPO、SPG、GDPO 等所有专为扩散模型设计的复杂强化学习算法。该研究既为扩散语言模型训练提供了更简洁高效的路径，也促使学界重新审视「任意顺序生成」这一被广泛看好的技术路线。