随机采样无法揭示模型知识盲区：自洽性与模型集成的维度差异

大语言模型在重复运行时给出不同答案，这种差异能否反映模型「不知道什么」？一篇发表于 arXiv 的研究论文给出了一个量化答案：在同一模型上提高温度反复采样，只能得到浅层（epistemically shallow）的单题不确定性；要真正捕捉模型跨问题的知识盲区，必须依赖多样化模型集成。

核心发现：两种策略的维度差异

研究团队在同一组问题上对比了两种推理策略：

• 自洽性策略：对同一模型在温度参数 τ=1 下重复采样 100 次，通过多数投票整合答案。
• 集成策略：使用 24 个不同大语言模型，各运行一次，温度设为 τ=0。

关键分析工具是 Marchenko–Pastur 随机矩阵测试，用于在高维空间中区分真实信号与采样噪声。实验覆盖五个模型族和三个基准（MMLU、HellaSwag、GSM8K），结果如下：

• 单一模型的温度采样在三个基准上最多只有 1 个维度高于随机噪声阈值。
• 跨模型集成则有多达 4 个特征值显著超出噪声边界。

统计显著性验证

为排除偶然性，研究设置了难度匹配的伯努利零假设作为对照。在 500 次蒙特卡洛模拟中，零假设最多出现 1 次超出噪声的情况，与集成方法的表现形成鲜明对比。这意味着集成所揭示的多维结构并非随机波动，而是统计上可靠的信号。

对自洽性方法的实践启示

自洽性是当前提升大模型推理准确率的常用手段，但本文揭示了其此前未被充分认识到的局限：

• 单题层面有效：能给出相对准确的逐题不确定性估计，支持多数投票决策。
• 跨题层面失效：无法捕捉相关问题之间的协同翻转模式，即模型「系统性不知道什么」。

对于需要理解模型知识边界的场景——例如主动学习、选择性回答、安全过滤——仅靠温度采样可能不够，需要引入模型层面的多样性。

方法论贡献

该研究将随机矩阵理论引入大语言模型不确定性分析。Marchenko–Pastur 边界作为高维随机系统的标准噪声基线，使研究者能够区分「真正的知识结构信号」与「采样的伪结构」，为后续相关研究提供了可复用的分析框架。