人类视频经虚拟试穿式转换可替代遥操作演示训练机器人策略。
资讯摘要
论文提出 RoboTryOn，将人到机器人的迁移类比为虚拟试穿：保留人类视频中的动作、物体与背景，把演示者替换为参考图像指定的目标机器人。方法对选定关键帧做自回归转换，并以人手骨架为运动条件引导视频合成；再用引入深度特征的逆动力学模型（IDM）从合成视频推断动作标签用于策略学习。作者报告，在多种人形本体上，仅用合成数据训练的策略在新任务（含双手操作）上平均成功率从 2% 提升到 60%，且约三分之一采集成本即可接近纯遥操作数据训练的效果。
要点速读
- RoboTryOn 把人类视频中的演示者替换为目标机器人，保留任务、物体和背景。
- 方法用关键帧自回归转换与人手骨架运动条件合成视频，并以含深度特征的 IDM 推断动作标签。
- 作者报告新任务平均成功率从 2% 升至 60%，合成数据训练效果接近遥操作数据而成本约为三分之一。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。