具身智能有了「统一考场」:RoboDojo 评测最强模型真实成功率仅 12.8%
RoboTwin 团队推出 RoboDojo 基准,42 个仿真 + 18 个真实机器人任务评测 30 个策略,最强模型…
由 RoboTwin 团队推出的具身智能评测基准 RoboDojo 正式亮相,首次把「仿真考场」和「真实机器人考场」合并为一套标准化、可复现的评测体系,30 个主流机器人策略同台竞技。结果显示:仿真中表现最强的模型平均成功率仅 8.80%,真实机器人上表现最好的 π0.5 总体成功率也只有 12.8%;而人类专家在仿真里达到 76.03%,在真实世界则为 100%。这一差距把当前通用机器人基础模型的能力短板直接摆上了台面。
基准设计:五大能力维度,仿真与真机并重
RoboDojo 的核心不是「堆任务数量」,而是用一套更接近真实世界的关卡,拆解机器人的操作能力。在仿真端,团队设计了 42 个任务,围绕五个核心能力维度展开:
- Generalization(泛化):新背景、新光照、新物体、杂乱场景下的适应能力,单个桌面场景最多可随机出现 25 件杂物。
- Memory(记忆):机器人需要记住传送带上曾经出现又消失的物体,再从后续候选物中选出匹配目标。
- Precision(精细操作):插管、对齐、精确接触等高容错动作。
- Long-Horizon(长程执行):多步骤、强依赖、误差会逐步累积的任务。
- Open(开放语义理解):理解从未见过的指令,并把语言目标转成动作。
仿真之外,RoboDojo-RealEval 把评测搬到了真实机械臂上:18 个真实任务覆盖 ARX X5、Piper、Piper X 三种双臂平台,每种平台各 6 个任务,包括盖积木、叠碗、插充电器、拆乐高、清扫桌面等贴近家务的场景。团队对真机评测做了硬件配置、工作空间布局、光照条件、复位流程、评测协议和部署接口的全面标准化,每个 trial 由三名评审双盲打分,既看最终成功,也看中间步骤完成情况。
榜单结果:仿真与真实世界都「扎心」
仿真榜单第一名是 Hy-Embodied-0.5-VLA,平均分 13.07,平均成功率 8.80%;紧随其后的是 Spatial Forcing、π0.5、X-VLA、GR00T-N1.7、π0、OpenVLA-OFT 等模型,但整体表现仍处在很低区间。真实机器人榜单上,π0.5 以 12.8% 的总体成功率和 22.9 的平均分领跑,InternVLA-A1、GalaxeaVLA、Xiaomi-Robotics-0、X-VLA 等组成头部梯队,但整体成功率仍只有个位数到十几个百分点。
更值得关注的,是开放语义任务的表现:即便是最强模型,成功率也仅有约 1.67%。这说明当前机器人基础模型在「听懂新指令并稳定执行」这条链路上仍然非常脆弱,能在熟悉任务上模仿,不代表面对新目标、新语义、新组合时还能稳定工作。RoboDojo 团队用一句话概括现状:今天的机器人模型不是「不会动」,而是「不够稳」。
公益治理:榜单不属于任何商业方
与「自家模型自家测」的做法不同,RoboDojo 由全学术机构联盟发起和维护,背后没有任何商业模型方利益绑定,榜单治理由公益性组织 AI MMLab Club 基金会负责。也就是说,这是一座面向整个社区开放的公共评测设施。
不只是 Benchmark:XPolicyLab 把评测做成基础设施
为了让不同机器人策略能在同一张榜单上公平比较,团队同时开源了 XPolicyLab,作为统一的接入层。它把不同模型各自的数据格式、预处理流程、训练脚本、动作表示和部署环境做标准化封装,提供统一的 observation-action 接口;只要策略方接入这个接口,就能在 RoboDojo 的仿真和真机平台上运行。论文中已通过 XPolicyLab 接入 30 个代表性机器人操作模型,实现「一次接入,多处评测」。
RoboDojo 还引入了异构并行仿真机制,支持不同任务、不同物体、不同布局同时跑,避免传统并行方式「只改初始位置」的局限,显著提升评测效率。
一座「具身珠峰」立起来了
从结果看,RoboDojo 给出了一个很冷静的判断:当前机器人基础模型的能力增长并不均衡,不同模型在不同维度上各有强弱,但都还没有形成真正全能的通用操作能力。可靠、泛化、可部署的通用机器人,距离仍然遥远。
但这把「尺子」本身就是进步。团队表示,后续将持续扩展灵巧操作、移动操作、触觉操作、人型全身操作等评测方向,把这座「具身珠峰」变成一个可持续更新的竞技场。具身智能比拼的不再只是 demo 视频,而是标准化赛道上的真实成绩。
