黎曼动力发布Riemann-1.0:靠20万小时人类视频,家务大考登顶
昆仑万维子公司黎曼动力发布通用机器人世界动作模型Riemann-1.0,以23.2万小时跨模态数据训练,在RoboCas…
黎曼动力在 WAIC 2026 正式发布通用机器人操作基础模型 Riemann-1.0。该模型主打「世界动作模型(World Action Model,WAM)」路线,把视觉动态、环境状态与机器人动作序列放进同一个生成过程统一学习,并在 RoboCasa-365 长程家务基准上以 62.6% 的成功率登顶 SOTA,比上一纪录高出 8.4 个百分点。Riemann-1.0 是黎曼动力在该方向的首秀,黎曼动力本身则是昆仑万维专为具身智能成立的子公司。
训练数据:23.2 万小时,人类视频占大头
Riemann-1.0 的核心特点是「以人类视频为主料」。其训练数据共 23.2 万小时,拆成三道菜:
- 广菜:20 万小时以上人类第一视角视频,覆盖做饭、叠衣服、收拾桌子等日常操作;
- 精菜:1.2 万小时以上 UMI 与外骨骼手套数据;
- 准菜:2 万小时机器人真机与仿真轨迹。
合计覆盖 41 种机器人本体、数千种交互方式。团队专门为「广菜」自研了一条自动化数据处理流水线:先矫正鱼眼畸变,再用 VLM 把长视频切成细粒度片段并配齐任务描述、动作指令与场景信息,经六类语义质检淘汰废片后,再做手部 3D 重建与相机位姿估计,把「手怎么动」转成机器可读的 3D 坐标,最后按场景、任务、动作、技能、物体五个层级均衡分桶。
架构与训练:扩散式因果建模,三段式权重切换
Riemann-1.0 基于扩散架构,提出全因果动作–视频联合建模框架,把视觉动态、环境状态和动作序列放进同一生成过程中学习,并通过本体专属动作映射模块适配 41 种不同形态的机器人。训练分三段,动作损失权重按 0.1 → 0.5 → 0.9 渐进切换:
- 第一阶段:用 Latent Action Model 从海量人类视频中提取伪动作信号,权重 0.1,让模型先学物理世界运行规律;
- 第二阶段:引入 UMI 与机器人真实动作数据校准,权重 0.5,把伪动作空间平滑过渡到真实控制空间;
- 第三阶段:纯机器人数据强化,权重 0.9,训练可直接上岗的执行能力。
实验结果:人类视频带来 14.4 个百分点增益
在 RoboCasa-365 上,从头训练的成功率为 38.2%;加入机器人数据预训练后升至 43.4%;再加 UMI 数据后达到 48.2%;最终加入人类视频数据,直接跳到 62.6%,单这一类数据就贡献了 14.4 个百分点的增量,超过前两类数据增益之和。团队认为,人类视频带来了更丰富的物体交互方式、动作语义和任务先验,抬高了模型在未见场景下的泛化上限。
在专为双灵巧手人形机器人设计的 EgoVLA 基准上,控制其他变量只比较是否加入人类视频预训练:长程多阶段任务成功率从 42.96% 提升到 71.11%,未见视觉背景下从 26.36% 提升到 43.33%。
整体来看,三张仿真考卷的成绩为:LIBERO 99.0%、RoboTwin 2.0 94.3%、RoboCasa-365 62.6%。优势最明显的正是强调家庭长流程、跨场景泛化的 RoboCasa-365。
真机表现与背后布局
真机方面,团队针对有序积木堆叠、柔性布料折叠、桌面杂物整理、厨房餐具收纳四类家务场景做专项后训练,最终平均成功率 85.00%,过程完成度 94.43%,均排名第一,领先最好的开源基座模型约 15 个百分点,且四类任务成功率全部超过 80%。
从公司层面看,黎曼动力此次亮相也补齐了昆仑万维的版图:在同期举办的《世界模型与多模态范式跃迁》论坛上,Matrix-3.5 世界模型负责数字世界生成,Mureka v9.5 面向 AI 音乐量产,而 Riemann-1.0 则第一次把世界模型与实体机器人接上。「AGI 的上半场在屏幕里,下半场在屏幕外」——这是昆仑万维第一次把触角真正伸入物理世界。
