论文用GUI定位监督训练可迁移的主动视觉观察能力。
资讯摘要
论文提出LBS（Look Beyond Screens），一种视觉语言模型：先由教师生成的GUI定位轨迹做监督初始化，再用强化学习训练多轮裁剪与查看决策。作者报告，在固定推理设置下，基于Qwen3.5-35B-A3B与Qwen3.8-27B的LBS均优于对应基线；超出监督微调的增益可迁移到PerceptionBench，Qwen3.5-35B-A3B还迁移到HR-Bench和ChartQAPro。分析认为SFT建立视觉检查原语，RL提升其下游效果。代码与模型已公开。
要点速读
- LBS先以教师生成的GUI定位轨迹做监督初始化，再用强化学习训练多轮裁剪与查看决策。
- 作者报告在固定推理设置下，两个骨干上的LBS均优于对应基线，增益可迁移到PerceptionBench等基准。
- 论文认为SFT建立视觉检查原语、RL提升下游效果，代码与模型已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。