论文用视频潜在动作监督预训练4B机器人策略
资讯摘要
论文提出RynnVLA-Latent框架,将异构交互视频转化为机器人策略预训练的可扩展监督。其核心RynnLAM无需原生机器人控制信号,从视觉变化中学习连续、3D接地的潜在动作,结合残差未来特征预测、相机补偿3D流监督与相机运动解耦。作者在30.1K小时人类、机器人与仿真视频上生成745.52M潜在动作描述符,再以流匹配预测潜在动作块并适配具体本体。4B策略在LIBERO达98.8%,LIBERO-Plus达84.7%,VLABench五赛道平均51.9%,RoboTwin 2.0双臂平均88.6%。
要点速读
- RynnLAM从视觉变化学习3D接地潜在动作,无需原生机器人控制信号。
- 作者用30.1K小时视频生成745.52M潜在动作描述符,并以流匹配预训练后适配具体本体。
- 4B策略报告LIBERO 98.8%、LIBERO-Plus 84.7%、VLABench平均51.9%、RoboTwin 2.0平均88.6%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:15(北京时间)。