回到最新动态
交叉发布 / THE SIGNAL

用3D几何抽象替代逐步视觉推理的机器人策略

Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action

重要性 5.0 AI 辅助整理

论文用3D几何符号抽象减少机器人策略的逐步视觉查询。

资讯摘要

论文探讨多模态语言模型在机器人操作中是否需每步重新解读原始视觉观测,提出将常规空间推理从图像转移到文本与符号:通过3D几何抽象,以带类型和证据感知的符号引用表示场景几何,从标定RGB-D中定位,并在每次动作后返回带度量残差的紧凑文本检查点。作者报告,在离线策略合成与连续在线执行中,基于接地文本和符号的推理提升了多步操作完成度,同时大幅减少重复多模态查询。

要点速读

  1. 论文提出用3D几何抽象把场景几何表示为带类型、证据感知的符号引用,并从标定RGB-D中接地。
  2. 每次动作后返回带度量残差的紧凑文本检查点,符号任务结构可跨决策复用,仅在需要时调用直接视觉推理。
  3. 作者报告该方法在离线策略合成和连续在线执行中提升多步操作完成度,并显著减少重复多模态查询。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开