GUI-JEPA：面向移动GUI智能体的免解码器JEPA策略

GUI-JEPA以JEPA潜空间打分替代VLM逐token解码，速度更快、参数更少。

资讯摘要

论文提出GUI-JEPA，称其为首个基于联合嵌入预测架构（JEPA）的免解码器GUI智能体策略：在预训练于无标注GUI截图的JEPA编码器潜空间中选动作，由动作与区域条件化的潜预测器为每个候选动作生成潜表示，轻量头单次批量打分，无需逐token解码。作者报告在AndroidControl上，同GPU下比其微调的Qwen2.5-VL-7B智能体快2.8-4.0倍，以6%参数达到后者分布内准确率的86-92%。

要点速读

1. 方法：用JEPA编码器潜空间替代VLM逐token解码，动作与区域条件化预测器为候选动作生成潜表示，轻量头批量打分。
2. 作者报告：随机初始化的预测器与在屏幕动态上预训练的预测器表现相当，打分器依赖该潜通路。
3. AndroidControl结果：同GPU下比Qwen2.5-VL-7B快2.8-4.0倍，以6%参数达其分布内准确率的86-92%；代码已公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。