回到最新动态
研究论文 / THE SIGNAL

PDRVLA:引入物理动态表示的视觉-语言-动作模型

PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

重要性 5.5 AI 辅助整理

PDRVLA 以物理动态 token 替代在线视频生成来增强 VLA 动作预测。

资讯摘要

论文提出 PDRVLA,针对视觉-语言-动作模型对物理动态理解有限、而视频世界模型在线生成未来视频延迟高的问题,设计轻量物理动态模块,从视觉-语言特征中提取物理 token 来条件化动作生成,无需在线视频生成。该模块通过直接预测未来 RGB、深度与光流特征学习,并以冻结的预训练视频世界模型作辅助监督。训练仅用公开数据,经人到机器人合成、子任务标注与具身思维链标注扩充。作者报告在四个仿真基准上成功率分别为 LIBERO 99.3%、LIBERO-Plus 89.9%、RoboTwin 2.0 93.6%、SimplerEnv 81.5%。

要点速读

  1. PDRVLA 用轻量物理动态模块从视觉-语言特征提取物理 token,避免在线视频生成带来的控制延迟。
  2. 模块直接预测未来 RGB、深度和光流特征,并用冻结的预训练视频世界模型提供辅助监督。
  3. 作者报告四个仿真基准成功率:LIBERO 99.3%、LIBERO-Plus 89.9%、RoboTwin 2.0 93.6%、SimplerEnv 81.5%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开