ReVision 去除截图冗余视觉 token,token 降 46% 且成功率升 3%。
资讯摘要
论文提出 ReVision,针对计算机使用智能体(CUA)中截图视觉 token 随交互轨迹快速增长的问题,用学习到的 patch 选择器比较相邻截图的 patch 表示,在保留模型所需空间结构的前提下去除冗余视觉 patch,并据此训练多模态语言模型。作者报告在 OSWorld、WebTailBench、AgentNetBench 三个基准上,用 Qwen2.5-VL-7B 处理含 5 张历史截图的轨迹时,token 用量平均减少 46%,成功率较不丢弃基线提升 3%。作者据此重新考察历史的作用,发现去除冗余后纳入更多历史观察可持续提升性能。
要点速读
- ReVision 用学习到的 patch 选择器跨连续截图比较 patch 表示,去除冗余视觉 patch 并保留空间结构。
- 在 OSWorld、WebTailBench、AgentNetBench 上,Qwen2.5-VL-7B 处理 5 张历史截图时 token 平均减少 46%,成功率提升 3%。
- 作者报告去除冗余后,纳入更多历史观察可继续提升 CUA 性能。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。