新基准显示智能体执行强但个性化弱,常不知何时该问用户。
资讯摘要
论文提出 iPrefBench,用于评估个人移动使用智能体在可执行 iOS 环境中的“推断与询问”能力,并配有交互式模拟用户。基准基于包含 3,051 条历史活动事件的连贯人设,覆盖 26 个应用的 130 个信息不完整任务,每个缺失需求被设计为可从历史推断或只能询问。作者报告,7 个前沿智能体的动作完成率最高 91.6%,但完整任务成功率最高仅 47.7%,在只能询问的信息上尤其不足。
要点速读
- iPrefBench 在可执行 iOS 环境与交互式模拟用户中评估个性化移动智能体,任务覆盖 26 个应用、共 130 个信息不完整任务。
- 基准基于含 3,051 条历史活动事件的连贯人设,将每个缺失的用户相关需求构造为历史可推断或只能询问两类。
- 作者报告 7 个前沿智能体动作完成率最高 91.6%,完整任务成功率最高 47.7%,主要短板是未充分请求只能由用户提供的信息。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。