新基准 DynaRev 评估网页智能体应对执行中目标修改的能力。
资讯摘要
论文提出 DynaRev，一个包含 181 个任务的基准，用于评估网页智能体在任务执行过程中面对用户动态修改目标时的表现。该基准通过语义里程碑在任务设定阶段下发修订，覆盖追加式修订、无条件覆盖和运行时条件覆盖三类，并从正确性、响应性和效率三方面进行轨迹评估。作者报告五个模型的评测结果显示，智能体通常只满足部分任务要求，表现随任务来源、修订类型和模型而变化。
要点速读
- DynaRev 含 181 个任务，用语义里程碑在任务定义阶段下发目标修订。
- 修订类型包括追加式修订、无条件覆盖和运行时条件覆盖，评估正确性、响应性与效率。
- 作者报告五模型评测中智能体常只满足部分要求；保留浏览器状态并改写指令有增益，重置浏览器则有损失。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。