使用示例作独立字段评分可保护未使用工具的检索。
资讯摘要
论文研究共享工具目录中多个智能体汇总工具使用经验对工具检索的影响,并区分有使用记录的工具与无任何使用记录的留出工具。作者报告,把使用示例作为额外条目加入索引会提升已用工具的 Hit@5,却明显降低留出工具的 Hit@5;将使用情况作为独立字段评分的方法称为 SYNAPSE。在 StableToolBench 上,留出金标工具进入前五的比例为 0.785,高于为使用情况预留槽位的路由器的 0.683,且该优势在三个目录和两种嵌入模型下均成立。
要点速读
- 把使用示例作为额外条目加入索引,会提升已用工具的 Hit@5,但降低留出工具的 Hit@5,三个目录中有两个降幅较大。
- SYNAPSE 将使用情况作为独立字段评分,在 StableToolBench 上留出金标工具进入前五的比例为 0.785,对比基线为 0.683。
- 已用工具的增益依赖使用示例对应正确的工具;将使用记录分给十个模拟智能体,汇总效果与给单个智能体相同记录一致。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。