GUI-Lens：用由粗到细裁剪提升现成VLM的GUI定位精度

GUI-Lens用逐级裁剪放大让通用VLM更准确定位GUI控件。

资讯摘要

论文提出GUI-Lens，一种由粗到细的GUI定位框架，让通用视觉语言模型通过主动视觉观察确定点击目标。方法先从截图提取OCR文本与检测到的UI组件位置作为坐标参考，再由VLM依据指令、当前视图和参考选择下一视图的区域与缩放比例，逐级裁剪放大，过程中持续校验裁剪与点击是否符合指令，最终将局部位置映射回原始屏幕坐标。作者报告在五个GUI定位基准和六个通用基础模型上均提升精度，ScreenSpot-Pro上最高达直接定位的9.3倍。

要点速读

1. GUI-Lens从截图提取OCR文本和检测到的UI组件，将其位置作为坐标参考提供给VLM。
2. VLM根据指令、当前视图和参考选择下一视图的区域与缩放，逐级裁剪放大，并全程校验裁剪与点击。
3. 作者报告在五个基准、六个通用基础模型上精度一致提升，ScreenSpot-Pro上最高为直接定位的9.3倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。