MBBQ：跨语言刻板印象对比数据集

MBBQ 显示部分非英语语言的 LLM 偏见比英语更严重。

资讯摘要

论文提出 MBBQ（Multilingual Bias Benchmark for Question-answering），将英文 BBQ 数据集扩展至荷兰语、西班牙语和土耳其语，用于测量这些语言中常见的刻板印象，并配套平行控制数据集以独立评估问答任务表现。作者报告，对多个开源与专有 LLM 的测试显示，部分非英语语言的偏见比英语更严重，即使控制文化差异后仍成立；除最准确的模型外，各模型均表现出显著的跨语言偏见行为差异。数据集与代码已公开。

要点速读

1. MBBQ 将英文 BBQ 扩展至荷兰语、西班牙语和土耳其语，并附平行控制数据集分离任务准确率与偏见。
2. 作者报告部分非英语语言的偏见高于英语，控制文化差异后依然存在。
3. 除最准确模型外，各模型在跨语言偏见行为上差异显著。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。