多语言审计显示宗教偏见选择不平衡最高,API模型得分低于开源模型。
资讯摘要
论文提出一项多语言刻板印象偏见审计,使用英、西、法、德四种语言各3000条本地撰写的Reddit帖子,仅翻译搜索词以保留本地语境,并用双空格设计减少语法性别线索,评估三个开源权重模型和三个专有API模型。作者报告宗教在所有模型-语言条件下选择不平衡最高,西班牙语在性别上最高,德语在种族和宗教上最高;API模型整体得分低于开源权重模型。
要点速读
- 数据集含12,000条本地撰写的英、西、法、德Reddit帖子,按语言和类别平衡,英语性别另按刻板印象效价平衡。
- 作者报告宗教在所有模型-语言条件下绝对选择不平衡最高;西班牙语性别最高,德语种族和宗教最高。
- 评估的三个API模型得分全程低于三个开源权重模型;英语性别负面条目多于正面,澳大利亚和墨西哥语境高于加拿大和西班牙对应语境。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。