论文用五项测试与显式基线测量LLM的国家层面偏见。
资讯摘要
论文基于722份联合国安理会官方记录，用五项互补测试测量LLM的国家层面偏见，并为每项测试明确定义无偏参照；其中WOW与AK+-以可观察投票行为构建伪无偏基线。作者对GPT-4o-mini、Llama 3.3-70B、Mistral-22B-Small和Qwen3-30B在五个常任理事国上评测，报告模型输出整体偏向中俄的反对立场与英法美的支持立场。
要点速读
- 论文使用722份联合国安理会官方记录，覆盖意见排序（WOW）、关联排序（AK+-）、投票模拟（PVS）、反对归因（F-Oppose）和框架（Headliner）五项测试。
- 作者为每项测试显式定义无偏状态，WOW与AK+-采用基于可观察投票行为的行为式伪无偏基线。
- 评测4个模型在五个常任理事国上的表现，报告跨测试的共同模式：对中俄偏向反对（红）侧，对英法美偏向支持（蓝）侧。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。