论文发现大模型对西语地区词汇的掌握因国家与题型而异。
资讯摘要
论文考察大语言模型对西班牙语地区词汇变体的掌握情况，使用专家整理的数据库，覆盖21个西班牙语国家的934个词汇条目，将10个专有与开放权重模型作为“虚拟受访者”，采用是非题（YNQF）与选择题（MCQF）两种格式，分别包含10,164题和16,637题，并以F1和调整Jaccard系数评估。作者报告模型、国家与题型间差异明显：西班牙在多数模型的两种题型中得分最高，智利在所有模型的MCQF中得分最低；回归分析显示数字资源量与YNQF表现关联更强，与西班牙的词汇距离则与MCQF表现关联更强。
要点速读
- 论文使用覆盖21个西班牙语国家、934个词汇条目的专家数据库，评估10个专有与开放权重模型。
- 评估包含10,164道YNQF题与16,637道MCQF题，分别用F1和调整Jaccard系数衡量。
- 作者报告西班牙在8个模型的YNQF和9个模型的MCQF中得分最高，智利在所有模型的MCQF中得分最低。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。