资讯摘要
论文对40个开源智能体系统的496个LLM调用点进行实证研究,追踪模型输出流向并推导各调用点应满足的契约。作者报告:48%的LLM输出进入控制流或执行路径,其中73%不经过人工;代码中执行78%的约束,但提示中67%的约束仅向模型提出请求;63%的预期约束未被满足,仅5.3%的调用点满足完整契约。
要点速读
- 研究覆盖40个开源智能体系统、496个LLM调用点,共13.4百万行代码、四种语言,采用经17,428条人工判断验证的多智能体流程。
- 作者报告48%的LLM输出到达控制流或执行,73%的此类输出不经过人工;82%的调用点在调用前后有检查,但63%的预期约束未被满足。
- 论文称十种重复模式解释了99%的契约缺口,38种相关机制在运行时触发,而一处小型代码修复可阻止全部38种。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。