AI 智能体自主完成递归式基准研究实验

AI 研究者、宾夕法尼亚大学沃顿商学院教授 Ethan Mollick 近日在 X 平台分享了一项有趣的递归式基准研究观察：一篇题为「BenchBenchBenchBenchBench（BBBBB）」的论文，描述了一种针对「基准评估指标」的可执行基准（benchmark）——即用 AI 编写的符合性测试套件来评估基准评价方法本身，而这套机制的运行实验由 AI 智能体 Sol 自主完成。

研究的核心思路

该论文的标题本身就透露出研究的设计意图——层层递归的「基准的基准的基准」。具体而言：

• 研究对象：用于评估大模型表现的基准（benchmark）评价指标本身。
• 方法：用 AI 自动生成针对这些评价指标的符合性测试套件。
• 目标：构建一个可执行的元基准，用来检验现有 benchmark 评估方法的可靠性。

这种递归结构在学术上并不常见，更像是研究者对当前 LLM 评估生态的一次反思：当 benchmark 本身成为模型优化目标时，如何验证评价指标的客观性与稳健性？

智能体 Sol 的表现

Mollick 在帖文中特别提到，他原本以为模型会把「now do benchbenchbenchbenchbench」这样的指令当作玩笑话而拒绝执行，但名为 Sol 的 AI 智能体不仅完成了任务，还开展了合理的实验。

• 智能体并非简单复述指令，而是按照论文设计的方法实际运行了评估流程。
• 这一行为本身被 Mollick 视为一个值得注意的信号：当前 agent 类 AI 已具备按研究规范自主执行实验的初步能力。

信号与局限

从这条社交平台帖文中能提取的硬信息十分有限：论文的具体发表渠道、作者团队、实验数据集以及与现有 benchmark 的对比数据均未在原帖中给出，目前只能确认该研究聚焦于基准评估方法论的元层面问题，以及 AI 智能体已可在一定程度上独立完成这类任务。

Mollick 的语气带有明显的惊讶与赞赏，但他也并未提供更多技术细节。这意味着这条信息的价值更多在于「方向提示」——递归式基准评估和 agent 自主实验正在成为研究者关注的议题——而非具体可复现的结论。读者若要深入了解，仍需等待论文或相关链接的进一步披露。