论文用操作级框架量化基础能力与智能体执行之间的差距。
资讯摘要
论文指出，LLM 正被广泛用作智能体，但基础能力如何转化为智能体能力尚不明确，端到端分数难以诊断失败原因。作者提出操作级测量框架：用能力基准构建基础画像，用交互轨迹构建操作画像，并将观察到的操作表现与基于基础能力的预测之间的偏差定义为能力实现差距。在 τ²-Bench 上对十五个模型服务的实验显示，基础画像只能部分预测智能体操作，画像相近的模型执行表现可能差异明显，且差距在不同任务子集上保持一致；操作画像能补充信息并显著提升任务分数预测。作者表示将发布代码与分析产物。
要点速读
- 论文提出操作级测量框架，用基础画像与操作画像刻画模型，并定义能力实现差距。
- 在 τ²-Bench 上测试十五个模型服务，发现基础画像只能部分预测智能体操作表现。
- 操作画像可补充信息并显著提升任务分数预测，作者称将发布代码与分析产物。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。