回到最新动态
研究论文 / THE SIGNAL

Δτ-Bench:面向动态工具生态的智能体基准

Δτ-Bench: Pushing Agents Toward a Moving Capability

重要性 5.5 AI 辅助整理

新基准显示智能体在工具生态演化下成功率仅42.3%。

资讯摘要

论文提出 Δτ-Bench,一个可执行智能体基准,用于模拟大型工具生态的结构演化:工具会消失、被替换,或出现功能重叠且文档嘈杂的更优替代。基准含 42 个领域、1588 个多轮任务和六个连续生态状态。作者报告最强模型或框架任务成功率仅 42.3%,现有技能学习方法难以随生态演化持续提升适应力;论文据此提出生态管理器 Steward。

要点速读

  1. Δτ-Bench 包含 42 个领域、1588 个经校验的多轮任务,以及六个通过保能力变换生成的连续生态状态。
  2. 作者报告,即使是最强被测模型或框架,任务成功率也只有 42.3%;现有技能学习方法带来的初始增益无法稳定转化为随生态演化的适应能力。
  3. 论文提出 Steward,在任务执行中通过增量技能维护与动态供给,同时管理工具和程序性知识,实验显示其任务成功率更高、技能维护开销更低。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开