LLM-as-a-Judge 的提示词抽奖：句法改写敏感性测量与缓解

同义改写评审提示即可改变 LLM 评审结果甚至模型排名。

资讯摘要

论文研究 LLM-as-a-Judge 在保持评估语义不变、仅做同义改写时判断是否一致，提出“Prompt Lottery”现象。作者在多种评估任务、评审模型家族与骨干模型上发现，改写会改变评估结果，部分设置下甚至反转模型相对排名。10 名人工标注者的用户研究显示，评审模型在提示改写下的一致性下降幅度是人类的 6–9 倍，低于可用性研究常用阈值。论文提出多提示聚合可提升稳健性。

要点速读

1. 论文提出 Prompt Lottery：同义改写的评审提示会产生不同的 LLMaJ 判断。
2. 大规模研究覆盖多种评估任务、评审模型家族与骨干模型，改写可改变结果并可能反转模型排名。
3. 10 名标注者的用户研究显示，评审模型在提示改写下的一致性下降是人类的 6–9 倍；多提示聚合可提升稳健性。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。