新基准 AgentVQA 显示最佳模型准确率仅 58.5%。
资讯摘要
论文提出 AgentVQA，一个离线视觉问答基准，用于评估视觉语言模型在智能体场景中的表现，覆盖 Web Agents、机器人、第一视角视频、游戏和空间规划五个领域。作者从 23 个源数据集人工挑选 1000 个高难度真实样例，并称其模型排名与对应在线评测一致。在 22 个受测模型中，最佳准确率仅 58.5%；跨域分析显示，错误主要源于对当前及变化视觉状态的定位与表征失败。
要点速读
- 覆盖 Web Agents、机器人、第一视角视频、游戏、空间规划五个智能体领域，从 23 个源数据集人工选取 1000 个样例。
- 作者报告该基准的模型排名与对应在线评测结果一致，22 个受测模型中最佳准确率为 58.5%。
- 错误主要来自视觉状态定位与表征失败，如定位 UI 元素、理解运动、跟踪状态变化和推断 3D 空间关系。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35（北京时间）。