回到最新动态
研究论文 / THE SIGNAL

控制动作头共适应以应对VLM表征各向异性

Controlling Action-Head Co-Adaptation to VLM Representation Anisotropy

重要性 5.0 AI 辅助整理

论文提出无参数AdaIE,缓解动作头对VLM高方差维度的敏感度集中

资讯摘要

论文研究视觉-语言-动作模型(VLA)中下游动作模型如何与预训练VLM表征的几何结构共适应,发现动作模型会逐渐将敏感度集中于VLM输出的高方差维度。作者提出无参数的Adaptive Interface Equalizer(AdaIE),在训练中按下游敏感度变化对预训练表征重新加权。作者报告其在RoboCasa-GR1上提升最多5.28个百分点、RoboTwin 2.0上提升1.68个百分点,五个真实操作任务平均提升19个百分点,并可推广到扩散策略与世界模型。

要点速读

  1. 论文发现动作模型会逐步将敏感度集中在VLM输出的高方差维度上
  2. AdaIE为无参数机制,按训练中演变的下游敏感度对预训练表征重新加权
  3. 作者报告RoboCasa-GR1提升最多5.28个百分点、RoboTwin 2.0提升1.68个百分点,五个真实操作任务平均提升19个百分点

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开