智源悟界·Orca技术报告发布：先教AI理解世界如何变化

智源研究院悟界·RoboBrain Orca团队近日发布技术报告《Orca: The World is in Your Mind》，提出一种以状态转移建模为核心的世界模型训练范式，并在Hugging Face Daily Papers月榜中登顶，引发海外研究社区对「真正的多模态表征世界模型」的讨论。

从「下一步输出」到「理解世界如何变化」

语言模型预测下一个 token，图像视频模型预测下一帧，具身模型预测下一步动作——当下主流AI路线看起来任务不同，但底层逻辑相似：让模型围绕某一类输出反复练习。

Orca团队提出另一条路径：先让模型学习统一的世界状态表征，再从中读出理解、预测与行动能力。这条路线被命名为Next-State Prediction，核心关注点从「下一步该怎么动」转向「当前世界处于什么状态、在条件变化下会转移到什么状态」。团队用一句话概括这一理念：「我们不会让一个3岁小孩进工厂，打10万小时螺丝。」

12.5万小时视频与1.6亿事件标注

Orca构建了自动化筛选与标注管线，从互联网数据中处理后得到：

• 视频：12.5万小时，覆盖第一视角交互、第三视角物体操作、机器人执行、自然动态等多种来源；
• 事件标注：1.6亿条，用于稀疏但语义明确的状态转移学习；
• VQA数据：1150万条，用于文本读出任务。

学习方式被抽象为两类互补机制：

• 无意识学习：从连续视频中捕捉自然、稠密的状态变化，不依赖显式语言标注；
• 有意识学习：引入语言和事件条件，把语义意图与状态转移对齐。

两类信号共同作用于世界潜空间（world latent）的构建。

FlagScale带来4.4倍训练加速

团队基于自研FlagScale框架做了系统级重构：

• FSDP2升级：更灵活的分片策略，对轻量视觉块取消分片以减少调度开销；
• 分块交叉熵损失：避免一次性实例化完整Logits张量，降低显存峰值；
• 前向/后向预取：让FSDP的All-Gather通信与当前层计算充分重叠。

在H100集群上，训练吞吐量从基线的0.66提升至2.91 Samples/Sec/GPU，实现约4.4倍加速。

冻结backbone的三类读出验证

为确认是世界表征而非下游模块带来了能力提升，团队在下游阶段冻结Orca backbone，仅训练轻量readout模块。设置了三种读出口：

• 文本读出：检验世界表征能否转化为理解与推理能力；
• 图像读出：检验能否依据当前状态和条件预测未来视觉状态；
• 动作读出：检验能否迁移到真实机器人控制中。

关键实验观察包括：

• 训练损失随数据规模持续下降，未迅速饱和；
• 不同checkpoint取出后，三类读出表现同步提升；
• 在4B规模下，文本与VQA综合评测中Orca取得更高平均分，且提升集中在状态转移、事件演化与动态运动理解维度。

具身实验：预训练未见过action数据

最具关注度的实验来自真实机器人动作读出：Orca预训练阶段并未使用带action label的机器人轨迹，下游每个任务只用200条域内轨迹做后训练，结果显示在物体泛化和场景泛化的OOD任务中仍带来明显增益，尤其体现在失败恢复能力上。

消融与定位

消融实验表明，无意识状态转移、有意识事件转移、VQA语言监督三类目标各承担不同作用，缺一不可。Orca团队并未宣称「世界模型已经完成」，而是希望为当前讨论提供一个新坐标系：世界模型不应被某一种输出模态定义，而应学习世界如何被表征与变化。报告也指出，未来该路线不只服务于机器人，还可以延伸到物理系统、生命过程、科学实验等领域。