Iris 让图像候选参与类型化决策，并保持顺序不变与候选复用。
资讯摘要
论文关注智能体在候选集合上做类型化决策（如点击哪个界面元素、选哪个商品）时，若候选本身是图像会怎样。作者提出 Iris，支持图像、文本或混合候选，且不改动 Jeva 的决策模块。在基于 Multimodal-Mind2Web 构建的视觉候选基准上（每个候选为元素截图裁剪，K=16，三个划分），独立编码达到 78.4/72.1/74.8%，翻转率为零；联合编码微调的 OneJev-4B 达 90.6/89.5/91.6%，但重排裁剪后有 8–10% 记录改变答案。第三种设计让候选在状态之后编码，保持顺序不变性，延迟为 OneJev 的三分之一，达到 92.1/87.0/90.2%，零概率校准 AUROC 为 0.93–0.97。作者报告复用图像候选在 K=256 时延迟降低 37 倍，K=2048 时降低 191 倍。
要点速读
- 论文提出 Iris，支持图像、文本或混合候选，不改动 Jeva 决策模块，并在 Multimodal-Mind2Web 构建的视觉候选基准上评测（K=16，三个划分）。
- 独立编码准确率为 78.4/72.1/74.8% 且翻转率为零；联合编码的 OneJev-4B 为 90.6/89.5/91.6%，但重排候选后有 8–10% 记录答案改变。
- 候选在状态之后编码的设计保持顺序不变性，准确率 92.1/87.0/90.2%，延迟为 OneJev 的三分之一；复用图像候选在 K=256 和 K=2048 时分别降低延迟 37 倍和 191 倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。