回到最新动态
研究论文 / THE SIGNAL

RynnVLA-Latent:用3D接地潜在动作扩展机器人操作基础模型

RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions

重要性 6.5 AI 辅助整理

论文用视频潜在动作监督预训练4B机器人策略

资讯摘要

论文提出RynnVLA-Latent框架,将异构交互视频转化为机器人策略预训练的可扩展监督。其核心RynnLAM无需原生机器人控制信号,从视觉变化中学习连续、3D接地的潜在动作,结合残差未来特征预测、相机补偿3D流监督与相机运动解耦。作者在30.1K小时人类、机器人与仿真视频上生成745.52M潜在动作描述符,再以流匹配预测潜在动作块并适配具体本体。4B策略在LIBERO达98.8%,LIBERO-Plus达84.7%,VLABench五赛道平均51.9%,RoboTwin 2.0双臂平均88.6%。

要点速读

  1. RynnLAM从视觉变化学习3D接地潜在动作,无需原生机器人控制信号。
  2. 作者用30.1K小时视频生成745.52M潜在动作描述符,并以流匹配预训练后适配具体本体。
  3. 4B策略报告LIBERO 98.8%、LIBERO-Plus 84.7%、VLABench平均51.9%、RoboTwin 2.0平均88.6%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:15(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开