MetaSpace：用变形测试评估具身智能体空间认知

近期发表于 arXiv 的研究提出 MetaSpace 框架，将软件工程中的变形测试（Metamorphic Testing）思想引入具身智能体的空间认知评估。研究指出，当前对具身智能体的评测主要依赖两类范式：人工标注的视觉问答（VQA）数据对，以及导航、操作任务的成功率等高层指标。前者标注成本高且质量参差，后者则可能掩盖智能体通过次优路径甚至违反安全约束完成任务的情况，隐藏真实的安全风险与效率问题。由于空间认知是具身任务执行的基础，研究者认为有必要专门评估智能体在任务过程中的空间认知能力。

框架核心思路

MetaSpace 的关键做法是：从真实执行轨迹中提取时空多模态状态，依据逻辑规则与物理定律预定义一组变形关系（Metamorphic Relations, MRs），并将其编码为 Prolog 中的可执行规则。当智能体的行为违反这些关系时，即判定为一次空间认知错误。该方法无需人工逐条标注 VQA 对，能够在大规模轨迹上自动生成测试用例，覆盖路径连续性、空间拓扑一致性、物理合理性等约束。

实证结果

研究在三个具身场景中进行了实证评测，结果如下：

• 在 SOTA 多模态大模型（MLLM）驱动的智能体上，MetaSpace 自动检出了 90,422 处空间认知错误。
• 研究同时提出「空间认知分数（Spatial Cognition Score, SC）」以量化智能体表现。
• 所有被测 SOTA 智能体的平均 SC 得分介于 0.44 至 0.52 之间。
• 人类基线得分为 0.96，远高于当前智能体水平。

研究意义

这一结果提示，即便在主流 MLLM 驱动的具身系统中，空间认知仍是显著短板，且现有高层任务成功率指标难以暴露该问题。MetaSpace 提供了一种可扩展、自动化的诊断手段，有望成为具身智能体评测的补充工具。研究也说明，若要在真实环境中可靠部署具身智能体，仅靠端到端任务成功率并不足以保证其空间行为的正确性与安全性。