新基准TraceTrial-Bench用于评估智能体运行框架可靠性与失败归因。
资讯摘要
论文提出TraceTrial-Bench基准，将智能体运行框架（harness）的可靠性拆分为上下文、执行、治理、生命周期、可观测性、工具与验证七个组件，并构建95个专家级、机制导向且带可执行或状态型标准答案的任务。作者设计轨迹追踪模块与双层评估框架，分别评估智能体表现与框架可靠性，并加入多源证据采集和失败归因模块。在4个框架、9个模型、95个任务共3420次运行中，框架宏观平均得分为59.8%至72.0%，31.1%的运行虽任务成功但至少违反一项框架标准。
要点速读
- 论文提出TraceTrial-Bench，按七个组件组织运行框架可靠性评估，并构建95个带可执行或状态型标准答案的专家级任务。
- 作者设计轨迹追踪（TT）模块与双层评估框架，另设多源证据采集（MEA）和失败归因（FA）模块支持运行级归因。
- 作者报告在4个框架、9个模型、95个任务共3420次运行中，框架宏观平均得分59.8%–72.0%，31.1%的运行任务成功但至少未通过一项框架标准。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。