回到最新动态
论文更新 / THE SIGNAL

CLAP:通过语言-动作接地实现VLM到VLA的直接适配

CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding

重要性 5.5 AI 辅助整理

CLAP用语言描述前置动作序列,让预训练VLM低成本转为VLA。

资讯摘要

论文提出CLAP(Causal Language-Action Prediction),在不改动VLM主干架构的前提下,为每段数值动作序列前置一句自然语言动作描述,使动作token预测以语言-动作计划为因果条件,从而缓解直接输出动作序列造成的分布偏移。作者报告,2B模型仅训练4-5小时即在LIBERO上达到90.8%(较VLA-0提升14.9个百分点),并在真实UR5e机器人上取得60%成功率(VLA-0为15%)。团队以0.8B、2B、4B三个规模开源发布该紧凑VLA系列。

要点速读

  1. 方法核心:在动作序列前加入自然语言动作描述,以语言-动作计划因果约束动作token预测,不修改主干架构。
  2. 作者报告2B CLAP在LIBERO上达90.8%,比VLA-0高14.9个百分点,并在LIBERO-PRO的语言、物体、空间扰动下更稳健。
  3. 真实UR5e机器人上2B CLAP成功率60%,匹配设置的VLA-0为15%;CLAP以0.8B、2B、4B开源发布。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开