InferenceBench：衡量 AI 智能体优化大模型推理能力的新基准

arXiv 近日发表论文《InferenceBench: A Benchmark for Open-Ended LLM Inference Optimization by AI Agents》，提出一个面向 AI 智能体的开放性大模型推理优化基准。研究指出，现有的智能体评测多依赖预设工作流或狭窄的动作空间，所谓的「开放任务」往往只需检索已有方案并微调超参数即可完成，难以区分智能体的真实优化能力与对已知解的记忆。

基准设计思路

InferenceBench 要求智能体在有限资源下完成完整的工程任务：部署一个 OpenAI 兼容的推理服务器，并对目标 LLM 的推理速度进行优化。每个智能体获得以下输入：

• 一台 H100 GPU；
• 一个目标大语言模型；
• 一个优化场景；
• 两小时的墙钟时间预算。

为隔离不同瓶颈，基准设置四个优化场景，分别针对 prefill（预填充）延迟、decode（解码）延迟、并发请求吞吐，以及三者综合平衡。

关键实验结果

研究团队测试了 15 种前沿智能体配置，主要发现包括：

• 智能体相对朴素的 PyTorch 基线可实现最高 8.08 倍加速；
• 相对默认配置的 vLLM 推理引擎，智能体可达到 4.05 倍加速；
• 但在相同时间预算下，智能体仍落后于一个简单的超参数搜索（差距最高达 11.53 倍）。

这意味着即便智能体在端到端任务中表现不错，其优化效率仍未超越直接的自动化搜索。

智能体行为分析

论文对智能体的执行轨迹做了定性分析，发现两个关键现象：

• 智能体虽然能枚举出大量相关的推理优化技术，但最终高度集中于单一推理框架；
• 它们只测试了少数几种不同的配置，将剩余预算花在重复测量、修复或超参数微调上，而非探索实质不同的策略。

研究者由此判断，当前智能体在开放性 AI 工程任务中的瓶颈并非领域知识，而是「提出多样化配置、系统性评估并提交最优解」的能力。

价值与局限

InferenceBench 将「开放性工程任务」与「记忆式解题」做了较清晰区分，为后续智能体能力评测提供了一个更贴近真实研发场景的测试平台。但该基准目前仅覆盖单卡 H100 与两小时预算，对大规模分布式推理、多硬件平台及更长周期的优化场景尚未涉及，相关方向仍有进一步扩展空间。