回到最新动态
交叉发布 / THE SIGNAL

LLM智能体多工具检索结构完整性与成本对比

Completeness and Cost of Retrieval Structures for Multi-Tool Requests in LLM Agents

重要性 5.5 AI 辅助整理

多工具检索需整套工具齐全,训练式集合检索器成本更低。

资讯摘要

论文比较六种工具检索结构在多工具请求下的表现,使用345条AppWorld查询和103个MCP-Bench任务,以completeness@k衡量所需工具集是否完整出现在前k个结果,并统计LLM调用、token与延迟。作者报告,未在测试集训练且每查询最多一次LLM调用的结构在k=16时完成不足10%的AppWorld查询;训练式集合检索器达0.33和0.58且无LLM调用,LLM导航层级达0.30和0.40但每查询中位31至38次调用、约五分钟。

要点速读

  1. 论文在345条AppWorld查询与103个MCP-Bench任务上比较六类检索结构,指标为completeness@k及检索时的LLM调用、token和延迟。
  2. 作者报告:未在测试集训练且每查询最多一次LLM调用的结构,在k=16时完成不足10%的AppWorld查询。
  3. 训练式集合检索器在AppWorld和MCP-Bench分别达0.33和0.58且无LLM调用;LLM导航层级为0.30和0.40,但每查询中位31至38次调用、约五分钟。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开