回到最新动态
研究论文 / THE SIGNAL

工具增强模型比较中的提示敏感性

Prompt Sensitivity in Tool-Augmented Model Comparisons

重要性 5.0 AI 辅助整理

工具提升部分准确率,却可能放大模型比较的措辞敏感性。

资讯摘要

论文研究给模型配备工具后,模型间比较是否更稳定。作者提出匹配协议,将答案读出、推理、调用决策、工具返回结果与无调用报告等环节分开,在五个领域、五种措辞下测试六个开源模型。结果显示,工具在由程序作答的问题上提高准确率,却扩大了多组两两比较的措辞敏感性;扩大程度与模型调用频率相关,而调用频率是否随措辞变化因模型而异,并受接口与指令影响。

要点速读

  1. 论文提出匹配协议,分离答案读出、推理、调用决策、工具回答与无调用报告等步骤。
  2. 在五个领域、五种措辞下测试六个开源模型:工具在程序作答处提升准确率,但扩大了许多两两比较的措辞敏感性。
  3. 敏感性扩大与调用频率相关,调用频率是否随措辞变化因模型而异,并受原生工具调用接口、第二份工具描述和工具返回中间结果影响。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开