Async-RBench：评测 LLM 智能体的异步任务执行

新基准用 DRS 单独衡量智能体处理异步返回结果的过程。

资讯摘要

论文提出 Async-RBench，用于评测 LLM 智能体在异步任务执行中的表现，包含 200 个可执行任务、覆盖 8 类场景。该基准用场景控制器按预设任务状态条件控制结果送达时机，并以 Event Response Contract 规定每次响应需改变、保留、避免和重新验证的内容；Dynamic Replanning Score 对响应过程与结果等权计分，并与任务成功率分开报告。作者报告九个智能体的 DRS 为 19.2 至 45.1，重复报告与子智能体失败得分最低；异步送达下九个智能体任务成功率平均为 26.0%，低于批量送达的 29.7%。

要点速读

1. Async-RBench 含 200 个可执行任务，覆盖八类场景，用场景控制器按任务状态条件控制结果送达。
2. Event Response Contract 规定响应须改变、保留、避免和重新验证的内容，DRS 将过程与结果等权计分。
3. 作者报告九个智能体 DRS 为 19.2–45.1；异步送达任务成功率平均 26.0%，批量送达为 29.7%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。