IGG：可见性约束下的交互式GUI定位基准

IGG显示智能体短板在于执行揭示目标的交互，而非识别目标。

资讯摘要

论文提出IGG基准，用于评估智能体在目标不可见时先通过交互使其显现、再点击的能力。IGG包含16个可控GUI环境、7类可见性约束共601项任务，动作空间为滚动、移动、拖拽、等待和点击。作者报告人类准确率94.6%，GPT-5.5为79.4%，最强开源VLM仅31.6%；干预实验显示瓶颈在于执行揭示交互，而非识别已显现目标。

要点速读

1. IGG含601项任务，覆盖16个可控GUI环境和7类可见性约束，动作空间为滚动、移动、拖拽、等待、点击。
2. 作者报告人类准确率94.6%，GPT-5.5达79.4%，最强受测开源VLM仅31.6%。
3. 干预实验显示，告知Qwen3-VL应执行何种交互仅将准确率从30.8%提至33.9%，而代其执行交互可提至81.9%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。