回到最新动态
研究论文 / THE SIGNAL

多语言刻板印象偏见审计:12,000条本地Reddit帖子评测LLM

From Language to Country to Valence: A Multilingual Audit of Stereotype Bias Across LLMs

重要性 5.0 AI 辅助整理

多语言审计显示宗教偏见选择不平衡最高,API模型得分低于开源模型。

资讯摘要

论文提出一项多语言刻板印象偏见审计,使用英、西、法、德四种语言各3000条本地撰写的Reddit帖子,仅翻译搜索词以保留本地语境,并用双空格设计减少语法性别线索,评估三个开源权重模型和三个专有API模型。作者报告宗教在所有模型-语言条件下选择不平衡最高,西班牙语在性别上最高,德语在种族和宗教上最高;API模型整体得分低于开源权重模型。

要点速读

  1. 数据集含12,000条本地撰写的英、西、法、德Reddit帖子,按语言和类别平衡,英语性别另按刻板印象效价平衡。
  2. 作者报告宗教在所有模型-语言条件下绝对选择不平衡最高;西班牙语性别最高,德语种族和宗教最高。
  3. 评估的三个API模型得分全程低于三个开源权重模型;英语性别负面条目多于正面,澳大利亚和墨西哥语境高于加拿大和西班牙对应语境。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开