智能体失败归因：模型还是执行框架

论文提出用模型-框架交互指标评估智能体表现。

资讯摘要

论文指出，LLM 智能体的基准表现由模型与执行框架共同决定，因此应通过二者交互来评估框架。作者提出五项指标：有效完成率（VCR）、模型-框架适配度、跨模型适配度、交互残差与 Token 负载，并在六个基准上测试 OpenCode、Codex CLI、Pi CLI、DeepAgents 四种框架与四个核心模型，共得到 52,168 条轨迹。结果显示框架排名随模型和基准变化，OpenCode 跨模型表现居首，DeepSeek V4 Flash Preview 在共享基准上保持较高平均 VCR。

要点速读

1. 论文提出五项指标，分别衡量有效完成率、模型-框架适配度、跨模型适配度、交互残差和 Token 负载。
2. 实验覆盖四种通用框架、四个核心模型及两个原生模型-框架系统，在六个基准上共产生 52,168 条轨迹。
3. 作者报告框架排名因模型和基准而异，OpenCode 跨模型表现第一，DeepSeek V4 Flash Preview 在共享四项基准上平均 VCR 稳定较高。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。