CLAP用语言描述前置动作序列,让预训练VLM低成本转为VLA。
资讯摘要
论文提出CLAP(Causal Language-Action Prediction),在不改动VLM主干架构的前提下,为每段数值动作序列前置一句自然语言动作描述,使动作token预测以语言-动作计划为因果条件,从而缓解直接输出动作序列造成的分布偏移。作者报告,2B模型仅训练4-5小时即在LIBERO上达到90.8%(较VLA-0提升14.9个百分点),并在真实UR5e机器人上取得60%成功率(VLA-0为15%)。团队以0.8B、2B、4B三个规模开源发布该紧凑VLA系列。
要点速读
- 方法核心:在动作序列前加入自然语言动作描述,以语言-动作计划因果约束动作token预测,不修改主干架构。
- 作者报告2B CLAP在LIBERO上达90.8%,比VLA-0高14.9个百分点,并在LIBERO-PRO的语言、物体、空间扰动下更稳健。
- 真实UR5e机器人上2B CLAP成功率60%,匹配设置的VLA-0为15%;CLAP以0.8B、2B、4B开源发布。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。