桃子桃子快讯
返回首页
行业动态

英伟达发布 Cosmos 3 Edge,物理 AI 周报盘点多项关键进展

英伟达在 SIGGRAPH 推出 4B 边缘世界模型 Cosmos 3 Edge,多家实验室公布机器人学习论文,行业层面…

2026.07.24 · 周五6 分钟阅读

英伟达在本周 SIGGRAPH 大会推出面向边缘设备的 4B 参数世界基础模型 Cosmos 3 Edge,多家高校与机构同步发布了机器人学习方向的论文与开源工具;行业层面,World Labs 收购仿真初创 SceniX,Travis Kalanick 创立的机器人公司 Atoms 拿下 17 亿美元融资。以下为本周物理 AI 领域值得关注的关键动态。

厂商发布与硬件平台

Cosmos 3 Edge 是英伟达本周最重要的发布。该模型采用 Mixture-of-Transformers 架构,将自回归推理器与扩散生成器结合,用于产出动作块。在 Jetson Thor 上以 640×360 分辨率运行时,推理频率约 15 Hz,单次推理可输出 32 个动作,并能在人形机器人、夹爪、驾驶等场景间泛化。同步开源的还包括 Cosmos-3-Edge-Policy(在 DROID 数据上后训练、可直接用于抓取放置任务)以及适配自有平台的后训练脚本。性能数据来自英伟达官方,目前的开放问题是:体量足以塞进边缘设备的模型,能否直接充当策略执行器,而非仅作为规划器或离线评估器。

ACT-2 由 Sunday Robotics 公布,主打家庭机器人场景。公司博客披露,在 785 次跨未知家庭环境的折叠衣物任务中,零样本成功率 99.1%,并声称单条微调样本即可教会并泛化某一行为。该团队还提出名为「Solve」的评估标准——在声明范围内、以声明的适配成本取得稳定表现。需要指出的是,相关数据为公司自报,目前尚无配套论文或权重。

其他值得关注的硬件/工具包括:

  • MEVION:开源双臂遥操作设备,扭矩 60 Nm,造价约 1.4 万美元,可在线订购,将 ALOHA 扩展到更重、更快的任务。
  • Grabette:约 490 欧元的开源手持夹爪,通过浏览器 SLAM 流程即可将现场演示录制为标准 LeRobot 数据集。
  • DiMaS:无需训练、推理阶段即可引导 flow-matching VLA 的方法,通过在表征分布间做传输实现转向。
  • LIFT:后训练方法,将一个反应式力记忆专家嫁接到预训练 VLA 上,使动作在接触过程中可被刷新。

学术研究亮点

Xiaomi-Robotics-1 在 10 万小时以上 UMI 轨迹上预训练了一个 Mixture-of-Transformers 视觉-语言-动作(VLA)模型,借助 VLM 自动为场景状态变化打标,并展示了可向真实机器人迁移的干净 scaling 曲线。在作者自评的 RoboCasa365 基准上取得 57.6%,较此前 46.6% 提升明显,但代码与权重尚未放出。

RoboTTT 来自英伟达 GEAR 与 Jim Fan 团队,将测试时训练折入机器人策略,使视觉运动上下文窗口拉到 8000 步而不增加推理延迟,在长时序多阶段任务上获得 87% 的提升。其核心论点是:预训练上下文长度可作为机器人基础模型的一条清晰 scaling 轴。

Patch Policy 来自 Yann LeCun 与 Lerrel Pinto 在 NYU 的团队,将策略密集预训练的 ViT patch token 喂入块因果掩码,无需完整 VLM 即可保留大规模视觉预训练收益。报告称在性能上较微调后的 OpenVLA-OFT 提升 18%,参数量仅为其约 0.7%。

Masked Visual Actions 由斯坦福李飞飞团队提出,将动作表达为视频中任意实体的一段被部分揭示的轨迹,使单个微调过的视频 checkpoint 即可同时充当前向模型、策略评估器与逆模型,仅用 15 小时遮蔽样本训练,生成的想象轨迹与真实执行之间相关性足以用于评估。

WANDA 来自 CMU Guanya Shi 团队:取一次真实 RGBD 演示,用 Gaussian Splatting 重建场景,再通过全身运动规划对接触密集片段进行重排,从而在新布局与新环境下合成照片级训练数据。仅凭这一条演示训练出的策略即可在空间与环境维度泛化,并零样本迁移到形态不同的移动机械臂,性能优于用 50 条遥操作演示训练的策略。

Open-AoE 由微软研究院发布,约 2000 小时第一人称操作数据集,由 500 余名贡献者在 400 余部手机上采集,包含手部姿态、相机轨迹与时序定位的原子动作。随数据一同开源的采集-训练流水线与跨形态重定向工具链,是任何人运行人类视频数据作业的可复用部分。

REAL 由 InternRobotics 推出,是一个具备 sim-to-real 一致 API 的智能体移动操作框架,配有一个用于意图消歧的模拟用户;同步发布的 REAL-Bench 包含 241 个任务,覆盖探索、视觉干扰与铰接操作,在交互任务上对闭源 VLM 取得 56.9%,在 60 个真实环境回合中取得 78.3%,代码已开放。

行业动态与资本

李飞飞创办的 World Labs 收购机器人仿真初创 SceniX,创始人 Yunzhu Li 与 Changxi Zheng 加入团队,专注打通 real-to-sim 闭环,目前尚无技术细节公布。

Travis Kalanick 创立的机器人公司 Atoms 完成 17 亿美元融资,由 a16z 领投,并收购工业车辆公司 Pronto,主攻重工业自动化,目前公开信息中模型细节有限。

英国人形机器人公司 Humanoid 完成 1.52 亿美元 A 轮融资;Generative Bionics 公布全身触觉人形机器人 Gene.01,并表示将开源模型,开源计划是后续观察重点。

会议方面,IROS 2026 将于 9 月 27 日至 10 月 1 日在匹兹堡举办,论文已接收,项目页将在未来数周陆续上线。

信源