多语言LLM评审中提示策略效果取决于评审模型，不可直接迁移。
资讯摘要
论文针对LLM-as-a-Judge在多语言场景下的提示策略稳健性展开研究，构建覆盖9种提示策略、4个开放权重评审模型、27种语言、4项任务与13个数据集的基准，在黄金参考输出上产生超100万条逐点评分，并与人工判断对照验证。作者报告：提示策略不可迁移，评审模型的选择比提示策略更关键，策略效果在不同评审模型间方向相反，低资源语言下稳定性下降且被聚合报告掩盖。
要点速读
- 基准覆盖9种提示策略、4个开放权重评审模型、27种语言、4项任务和13个数据集，产出超100万条逐点评分。
- 作者报告提示策略效果不可跨评审模型迁移，评审模型选择的影响大于提示策略选择，且策略效果在不同评审模型间方向相反。
- 低资源语言下稳定性下降，这类效应在聚合报告中被掩盖；作者建议针对具体评测场景验证提示策略，并在跨研究比较中同时考虑评审模型与提示配置。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。