伯克利发布 Do as I Do：打通网络视频到灵巧手真机执行链路

UC Berkeley 团队近期发布了一项名为「Do as I Do」的研究，首次跑通了一条从网络单目 RGB 视频到 22 自由度灵巧手真机执行的完整链路。系统无需依赖高成本遥操作，仅凭日常人类视频即可重建手-物交互过程，并将其转化为可在真实机器人上运行的轨迹。论文与项目页已分别公开。

研究背景：人类视频里的机器人数据

孩子看别人打蛋、倒水就能学会动作，机器人却长期依赖「做中学」：遥操作、仿真执行或精心布置的真机采集都是主流路径。真正可用的「看」的数据其实早已存在——YouTube、第一视角数据集、生成式视频中蕴含大量人手与物体交互素材。瓶颈在于转换：如何从带噪声的单目 RGB 视频中，生成多指灵巧手可执行的动作轨迹。

研究团队将目标手型锁定为 Sharpa Wave（22 自由度，尺度接近人手），覆盖了双手配合的搅打、搅拌、锤击等动作，这些任务传统平行夹爪难以胜任。

关键难题

要把灵巧机器人数据规模化，团队指出了三个结构性挑战：

• 重建不稳定：真实场景视频存在运动模糊、遮挡、深度歧义，FoundationPose 等跟踪方法在轻微模糊下即可能丢失位姿锁定；多数联合重建方法依赖实验室环境或预设物体类别。
• 带噪声参考轨迹让重定向失效：此前 SPIDER、基于 RL 的跟踪方法假设输入为干净的 MoCap 真值；网络视频重建出的轨迹常带时间不连续、接触错位甚至物理不可行的初始状态。实验显示，基于采样的优化方法在此类输入上失败率可达 75%。
• 遥操作难以规模化：依赖专业操作员、专用设备和按任务逐条采集，覆盖一小时人类做饭视频的丰富操作已属不易，更谈不上覆盖整个互联网。

方法：两阶段端到端流程

阶段一：引导式扩散稳定跟踪

SAM 3D 可为单帧生成物体网格，但逐帧独立处理会漂移。研究团队在锚定帧固定物体形状后，让后续帧流匹配去噪中的位姿采样向上一帧靠拢，同时根据 2D 点跟踪估计的物体旋转速度自适应调整位姿。在 150 个真实场景视频的人工对比中，评估者在 67% 的样本里认为其跟踪结果优于 FoundationPose。

阶段二：面向噪声参考轨迹的稳健动作重定向

在 SPIDER 的采样/MPPI 优化框架基础上，团队加入三项针对性设计，专门处理网络视频重建出的噪声参考轨迹。综合改进后，动作重定向成功率从 25% 提升到 71%。

实验与真机部署

最终覆盖 20 类操作动作，包括放置、拿取、擦洗、涂抹、挤压、熨烫、刷涂、除尘、挖掘、擦除、倾倒、书写、搅打、搅拌、戳刺、压实、钻孔、锤击、切割和刷酱汁。研究团队从中选取 10 项代表性动作，部署到双 UR3e 机械臂 + 双 Sharpa Wave 平台，以 50Hz 控制频率完成实机执行，涉及书写式三指抓握、力量抓握、掌侧抓握、平行伸展抓握等多种抓握方式。

数据筛选：95% 的网络视频仍不可直接用

研究团队在 100DOH 数据集的 2000 个 10 秒片段上做分析后发现：未经预处理的网络视频，真正可投入机器人学习的比例可能仅约二十分之一。Do as I Do 给出了一套筛选要点：

• 检查手与物体是否始终在画面内；
• 确认动作是否跨越镜头切换；
• 排除相机运动过大的片段；
• 识别 SAM 3D 可能失败的场景。

这套筛选流程对希望在灵巧手上打通「人类视频到机器人执行」的团队而言，将成为绕不开的基础环节。

结论

「Do as I Do」把一个长期被视为理想的命题推向现实：输入一条人类视频链接，系统即可重建其中的手-物交互，并转化为 22 自由度关节轨迹供灵巧手执行。从观看、重建、重定向到真实部署，整条链路已经跑通。世界上最大的操作数据集本就藏在人们日常拍下、上传与分享的视频里，这项研究的核心贡献，是为这套数据找到了可用的入口。