CARTE：评估大模型法国区域知识的新基准

新基准 CARTE 用 3132 题测大模型的法国区域知识。

资讯摘要

论文提出 CARTE 基准，用 3132 道多选题考察大语言模型对法国 13 个本土大区、12 个主题领域（文化、语言、人口、经济、环境、交通等）的细粒度区域知识，并另设 CARTE-LV 子集聚焦各地方言差异。作者对 32 个 1B–30B 开源权重模型和 3 个前沿 API 模型在零样本、单样本、三样本设置下评测，报告不同地区与模型规模间存在性能差异，认为预训练覆盖存在系统性缺口、对国内区域差异的鲁棒性有限。

要点速读

1. CARTE 含 3132 道题，覆盖法国 13 个本土大区与 12 个主题领域，题目经人工审核、LLM-as-a-judge、难度校准和二次人工审核四阶段验证。
2. 另设 CARTE-LV 子集，专门评估法国各地区的语言变体差异。
3. 作者评测 32 个 1B–30B 开源权重模型和 3 个前沿 API 模型，报告区域间与模型规模间的性能差异。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。