移动GUI智能体个性化失败诊断基准

新基准PrefDiag-Bench揭示GUI智能体个性化任务表现明显偏低。

资讯摘要

论文提出PrefDiag-Bench，用于诊断个性化移动GUI智能体的失败原因。该基准将用户偏好分为五类以刻画其如何改变执行策略，并设计分阶段诊断框架，用1664个探针追踪偏好应在何时生效及失败位置。作者在显式用户画像与行为记忆日志两种上下文下评测11个GUI智能体系统，报告现有智能体在非个性化任务完成率较高，但个性化任务明显下降，最佳模型Seed-2.0-Pro在显式画像下的Process偏好上仅47.17%。

要点速读

1. PrefDiag-Bench包含偏好五分类与1664个探针的分阶段诊断框架，关注偏好如何影响执行及何时生效。
2. 作者评测11个GUI智能体系统，覆盖端到端智能体与智能体工作流，使用显式用户画像和行为记忆日志两种上下文。
3. 作者报告最佳模型Seed-2.0-Pro在显式画像下Process偏好仅47.17%，智能体在Ranking与Process偏好上尤其困难；显式提供相关证据的干预使端到端成功率最多提升7.06%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。