回到信息流
交叉发布 / THE SIGNAL

LLM调用点契约实证研究

When Code Becomes an LLM Call: An Empirical Study of Call-Site Contracts in Agentic Systems

AI 辅助整理

资讯摘要

论文对40个开源智能体系统的496个LLM调用点进行实证研究,追踪模型输出流向并推导各调用点应满足的契约。作者报告:48%的LLM输出进入控制流或执行路径,其中73%不经过人工;代码中执行78%的约束,但提示中67%的约束仅向模型提出请求;63%的预期约束未被满足,仅5.3%的调用点满足完整契约。

要点速读

  • 研究覆盖40个开源智能体系统、496个LLM调用点,共13.4百万行代码、四种语言,采用经17,428条人工判断验证的多智能体流程。
  • 作者报告48%的LLM输出到达控制流或执行,73%的此类输出不经过人工;82%的调用点在调用前后有检查,但63%的预期约束未被满足。
  • 论文称十种重复模式解释了99%的契约缺口,38种相关机制在运行时触发,而一处小型代码修复可阻止全部38种。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开