论文用运动引导的非对称视觉预测提升WAM机器人策略成功率。
资讯摘要
论文研究世界动作模型(WAMs)中视觉监督的空间分配,发现将监督集中在动态区域可显著提升策略性能。据此提出运动引导非对称预测(MoGAP),在共享视频扩散骨干内通过仅训练用的辅助预测路径,对不同区域施加非对称噪声,让模型以较完好的静态区域为上下文重建受损更重的动态区域,运动线索直接取自训练视频,无需外部教师或额外模态。作者报告在GR-1桌面基准上,Fast-WAM(Wan2.2-5B)成功率从38.8%升至47.5%,Cosmos3-Nano从52.3%升至62.3%。
要点速读
- 论文指出标准视觉预测对所有区域一视同仁,未区分其与机器人控制的相关性。
- MoGAP在共享视频扩散骨干中加入仅训练用的辅助预测路径,按区域施加非对称噪声。
- 作者报告GR-1桌面基准成功率:Fast-WAM(Wan2.2-5B)38.8%→47.5%,Cosmos3-Nano 52.3%→62.3%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。