翻译版基准能否替代原生基准？

翻译版基准在内容重叠时更可靠，本地知识覆盖不足。

资讯摘要

论文将翻译版基准的效度问题框定为代理效度问题，比较 DeepL 翻译的 MMLU 与六个原生基准在五种北欧和波罗的海语言中的七组配对，每组评估 29 个模型。作者报告，在控制模型规模和语言能力后，翻译分数的增量预测价值因配对而异：四组稳健、两组边缘、一组无显著结果；课程重叠类基准 Skolprov 最强（ΔR²=.128），而翻译版 MMLU 对瑞典本地事实知识无显著增量价值（p=.242）。

要点速读

1. 研究比较 DeepL 翻译的 MMLU 与六个原生基准，覆盖五种北欧和波罗的海语言、七组配对，每组评估 29 个模型。
2. 作者报告四组稳健、两组边缘、一组无显著结果；Skolprov 的 ΔR²=.128，95% CI [.038,.253]。
3. 翻译版 MMLU 对瑞典本地事实知识无显著增量价值（p=.242）；因 SwedishFacts 是唯一开放式基准，本地内容与作答格式的影响无法完全分离。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。