工具提升部分准确率,却可能放大模型比较的措辞敏感性。
资讯摘要
论文研究给模型配备工具后,模型间比较是否更稳定。作者提出匹配协议,将答案读出、推理、调用决策、工具返回结果与无调用报告等环节分开,在五个领域、五种措辞下测试六个开源模型。结果显示,工具在由程序作答的问题上提高准确率,却扩大了多组两两比较的措辞敏感性;扩大程度与模型调用频率相关,而调用频率是否随措辞变化因模型而异,并受接口与指令影响。
要点速读
- 论文提出匹配协议,分离答案读出、推理、调用决策、工具回答与无调用报告等步骤。
- 在五个领域、五种措辞下测试六个开源模型:工具在程序作答处提升准确率,但扩大了许多两两比较的措辞敏感性。
- 敏感性扩大与调用频率相关,调用频率是否随措辞变化因模型而异,并受原生工具调用接口、第二份工具描述和工具返回中间结果影响。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。