视觉技能卡作教师上下文可提升免检索GUI学生模型表现。
资讯摘要
论文提出SkillLens，用统一的视觉技能卡（VSC）模式表示操作流程、适用线索与界面视图，检索到的卡片为冻结执行器提供参考证据。CardDistill利用该模式从标注训练步骤构建特权教师上下文进行在线蒸馏，学生模型部署时无需检索。作者报告，在十个未参与训练网站上的119个任务中，全卡片教师训练的学生步成功率平均比紧凑文本教师高5.04个百分点；独立运行时对照中全卡片正确动作12/64，纯文本卡片为4/64。
要点速读
- SkillLens以视觉技能卡统一表示流程、适用线索和界面视图，检索卡片为冻结执行器提供参考证据。
- CardDistill用标注步骤构建特权教师上下文做在线蒸馏，学生部署时只用原生输入、无需检索。
- 作者报告在十个未参与训练网站的119个任务上，全卡片教师学生步成功率平均高5.04个百分点；运行时对照中全卡片正确动作12/64，纯文本卡片4/64。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。