回到最新动态
论文更新 / THE SIGNAL

VLMs 能追踪却不擅跟踪:视觉路径跟随失败诊断

VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following

重要性 5.5 AI 辅助整理

论文发现前沿 VLM 在简单连续路径跟随上已不稳定,且现有手段难以修复。

资讯摘要

论文关注视觉语言模型(VLM)的路径跟随能力,在去除交叉、重叠等干扰的受控设定下测试模型能否沿一条简单连续线稳定前进。作者报告,前沿模型在附近存在其他路径时已难以保持所选路径,判断正确延续方向所需的信息在视觉编码阶段即已减弱。模型规模扩大、额外推理与显式追踪指令均未能稳定解决该问题,在更真实丰富的视觉场景中同样出现路径保持失败。

要点速读

  1. 论文在受控设定下测试 VLM 沿简单连续线跟随路径的能力,排除交叉与重叠等复杂因素。
  2. 作者报告前沿模型在附近有其他路径时路径保持不稳定,相关内部信息在视觉编码阶段已减弱。
  3. 模型缩放、额外推理和显式追踪指令均未稳定改善表现,更真实场景中失败依旧存在。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开