回到最新动态
研究论文 / THE SIGNAL

iPrefBench:面向个性化移动使用智能体的用户中心基准

iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents

重要性 5.5 AI 辅助整理

新基准显示智能体执行强但个性化弱,常不知何时该问用户。

资讯摘要

论文提出 iPrefBench,用于评估个人移动使用智能体在可执行 iOS 环境中的“推断与询问”能力,并配有交互式模拟用户。基准基于包含 3,051 条历史活动事件的连贯人设,覆盖 26 个应用的 130 个信息不完整任务,每个缺失需求被设计为可从历史推断或只能询问。作者报告,7 个前沿智能体的动作完成率最高 91.6%,但完整任务成功率最高仅 47.7%,在只能询问的信息上尤其不足。

要点速读

  1. iPrefBench 在可执行 iOS 环境与交互式模拟用户中评估个性化移动智能体,任务覆盖 26 个应用、共 130 个信息不完整任务。
  2. 基准基于含 3,051 条历史活动事件的连贯人设,将每个缺失的用户相关需求构造为历史可推断或只能询问两类。
  3. 作者报告 7 个前沿智能体动作完成率最高 91.6%,完整任务成功率最高 47.7%,主要短板是未充分请求只能由用户提供的信息。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开