论文发现LLM评审判断随性别设定变化而波动
资讯摘要
一篇论文考察LLM-as-a-Judge（LaJ）与决策语言模型（DLM）在候选人及评审者性别设定变化下的判断差异。研究用8个模型评估NVIDIA Nemotron-Personas美法数据集的240份合成职业叙述，共产生30,720次判断。作者报告：明确标注候选人性别使赞成票概率提高1.05–1.73个百分点，仅非二元评审者设定显著提升1.26个百分点；身份匹配无显著整体关联，2.5–3.3%决策相对未指定性别基线发生反转。
要点速读
- 8个模型评估240份合成叙述，共30,720次判断
- 明确候选人性别标签使赞成票概率提高1.05–1.73个百分点
- 直接替换性别身份时，DLM决策反转率1.18%，低于LaJ的3.38%
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。