总体F₁高不代表提示词对比结果可靠。
资讯摘要
论文指出，交互式LLM评测常用总体准确率或F₁验证自动评分器，但总体高分可能掩盖不同提示词下的评分偏差，使提示词对比结果偏大、偏小甚至方向相反。作者用六个模型、180个虚构实体问题和六种提示条件检验，平衡审计中总体F₁为.916，但各提示下误标比例为2.6%–33.3%；另一审计中，原本9.3个百分点的提升在两名LLM评分者下降至2.3个百分点，主评分者区间含零。
要点速读
- 论文提出应验证计划报告的具体提示词差异，而非只验证评分器整体表现。
- 平衡审计288条回复时总体F₁为.916，但不同提示下误标比例为2.6%–33.3%，且估计存在不确定性。
- 第二项审计中，断言确定性相对中性请求重考虑的9.3个百分点提升，在两名LLM评分者下均降至2.3个百分点，主评分者区间含零。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。