批量同提示评判会让LLM判定随同批条目和位置变化。
资讯摘要
一篇论文指出，为节省成本把多个独立条目放进同一提示让语言模型评判，会破坏结论的可分离性。作者在危害识别、简答评分和评论星级三类任务、五个4-9B开源权重模型上测试，同一批2000条内容随机分成25条一组，11-22%的判定发生变化，比改键名或改指令措辞高出6.5-13.3个百分点；14-32B模型上变化为6-15%。作者将翻转率分解为顺序、槽位和成员构成三部分，并建议歧义条目单独评判、用缓存前缀降低成本。
要点速读
- 在危害识别与简答评分任务上，随机分批使11-22%的判定翻转，高于改键名或改指令措辞带来的变化。
- 对四个14-32B模型，6-15%的判定发生变化，比上述对照高4.2-9.1个百分点。
- 九个排列的多数投票仍留下52-60%的翻转；十五个随机批次的多数结果与单条评判在8.4-17.8%的判定上不一致。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。