多工具检索需整套工具齐全,训练式集合检索器成本更低。
资讯摘要
论文比较六种工具检索结构在多工具请求下的表现,使用345条AppWorld查询和103个MCP-Bench任务,以completeness@k衡量所需工具集是否完整出现在前k个结果,并统计LLM调用、token与延迟。作者报告,未在测试集训练且每查询最多一次LLM调用的结构在k=16时完成不足10%的AppWorld查询;训练式集合检索器达0.33和0.58且无LLM调用,LLM导航层级达0.30和0.40但每查询中位31至38次调用、约五分钟。
要点速读
- 论文在345条AppWorld查询与103个MCP-Bench任务上比较六类检索结构,指标为completeness@k及检索时的LLM调用、token和延迟。
- 作者报告:未在测试集训练且每查询最多一次LLM调用的结构,在k=16时完成不足10%的AppWorld查询。
- 训练式集合检索器在AppWorld和MCP-Bench分别达0.33和0.58且无LLM调用;LLM导航层级为0.30和0.40,但每查询中位31至38次调用、约五分钟。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。