研究称 LLM 代码生成存在「语义塌缩」问题
arXiv 论文指出，LLM 在面对模糊任务描述时倾向收敛到单一错误理解，而非呈现多样性，在主流代码基准上影响显著。
一项发表于 arXiv 的研究论文对大语言模型（LLM）在代码生成任务中的常见假设提出挑战。研究发现，当用户给出的任务描述存在歧义或信息不全时，LLM 并不会如研究者预期的那样产生多种语义不同的实现来反映任务的不确定性，而是倾向于收敛到单一错误解释，持续生成「连贯但与用户意图不符」的代码。研究团队将这一失效模式命名为「detrimental semantic collapse」（有害语义塌缩）。
核心发现与数据
研究者在三个广泛使用的代码生成基准上统计了语义塌缩的发生率：
- MBPP：超过 10% 的任务存在语义塌缩。
- HumanEval：约 3% 的任务受影响。
- LiveCodeBench：塌缩率高达 32%。
这些基准此前被普遍认为是「良定义」（well-specified）的，但结果显示，即便是经过仔细整理的评测集，仍有可观比例的任务描述在实际使用中会触发语义塌缩。
实验方法与关键结果
为进一步验证假设，研究团队在基准提示词中人为注入模糊与不完整描述，观察塌缩率的变化。结果显示，注入后塌缩率上升超过 5 倍，暴露出当前依赖「输出多样性（即 incoherence）」作为提示词歧义代理指标的消歧与正确性估计方法存在根本性盲区。
换言之，此前一种流行的做法是：看到 LLM 多次采样输出不一致，就推断提示词存在歧义。但论文表明，这种「不一致」信号并不可靠——LLM 完全可能在歧义存在的情况下仍然输出一致但错误的代码。
意义与影响
该研究对代码生成评测与对齐研究有两方面启示：
- 评估方法需重新审视：仅以多次采样的输出一致性来判断提示词是否充分定义，结论可能严重偏差。
- 用户与开发者需关注：在实际编程助手场景中，模糊需求下 LLM 的「自信地给出错误答案」比「给出多种猜测」更具隐蔽危害。
论文信息
论文标题为《Underspecification Does Not Imply Incoherence in LLM Code Generation》，作者 Cedric Richter，于 2026 年 7 月 2 日提交至 arXiv（编号 2607.01953），共 11 页，属软件工程（cs.SE）领域。论文已分配 DOI，可通过 arXiv 平台获取 PDF 与实验性 HTML 版本。