多语言评测覆盖广而不均，翻译主导且存在污染隐患。
资讯摘要
论文对51个近期多语言基准（覆盖242个数据集、219种语言）进行数据驱动审计，围绕覆盖度、代表性与严谨性三方面。作者报告：36%的语言仅出现在单一基准中，大洋洲、美洲、中亚等地区近乎空白；低资源语言仅覆盖1-3类任务，高资源语言达14类；56%的数据集-语言实例由英语翻译而来，文化内容集中于少数社区基准；翻译泄漏与平行语料重叠造成污染。论文据此提出原生构建、文化扎根、污染感知的评测框架建议。
要点速读
- 审计51个多语言基准、242个数据集、219种语言，36%的语言只出现在一个基准中。
- 低资源语言仅被评测1-3类任务，高资源语言为14类；56%的数据集-语言实例来自英语翻译。
- 翻译基准泄漏与平行语料重叠可绕过表面形式检测，构成污染风险。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。