前缀可执行性：超越最终成功率评估工具调用智能体

论文提出前缀可执行性指标，揭示最终成功率会掩盖工具调用轨迹问题。

资讯摘要

论文提出“前缀可执行性”轨迹级评估协议，检查工具调用序列的每个前缀在工具模式、状态前置条件和数据依赖下是否仍可执行，并用 PEC、FED、TER、AUC-PEC、RR 等指标刻画可靠性。作者在 BFCL-v3 多轮与 ToolSandbox 分层样本及 τ³-bench 的 Airline/Retail 基础划分上实例化该协议，发现仅看最终成功率与按前缀评估的排名会出现分歧。

要点速读

1. 协议要求工具调用序列的每个前缀在工具模式、状态前置条件和数据依赖下保持可执行，并给出 PEC、FED、TER、AUC-PEC、RR 指标。
2. 在 BFCL-v3 多轮、ToolSandbox 分层样本和 τ³-bench 的 Airline/Retail 基础划分上实例化评估。
3. 作者报告：依赖未验证计划的智能体最终成功率点估计更高，但 TER 与 AUC-PEC 明显更低；显式执行前计划检查可提升可执行前缀存活率并保持有竞争力的最终成功率。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。