FoveaVLA 用注视动作替代腕部相机，作者报告真实任务成功率高于 π_(0.5)。
资讯摘要
论文提出 FoveaVLA，一种用学习到的注视动作替代腕部相机的视觉-语言-动作（VLA）模型。腕部相机只能看到末端执行器附近，外部相机虽覆盖全场景但分辨率低、细节丢失。FoveaVLA 在预测动作块的同时预测下一策略查询需观察的交互区域，并将原始分辨率裁剪图与全视图一并输入。作者基于 π_(0.5) 构建 Single 与 Dual 两种配置，在 DROID 与 RoboInter 标注上后训练。
要点速读
- FoveaVLA 在每次动作块预测时同时预测下一策略查询需观察的交互区域，并输入该区域原始分辨率裁剪图与全视图。
- 基于 π_(0.5) 构建 Single 和 Dual 两种配置，分别使用一个或两个外部立体相机，输入全视图与注视区域的 RGB 和深度。
- 作者报告在四个真实任务套件上，FoveaVLA-Single 成功率 70.8%、Dual 77.1%，带腕部相机的 π_(0.5) 为 52.1%；在简单抓取放置上与基线持平，在有干扰物、布料操作和远距离物体上提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。