LALA基准：评估大模型文学与语言学分析能力

LALA基准显示后训练显著提升语言学能力，但各领域仍不均衡。

资讯摘要

论文提出LALA基准，包含236道由语言学和文学专家编写的开放式问题及专家参考答案，用于评估大模型的语言学能力。作者对17个语言模型作答，并用人类专家与Sol、Qwen两个LLM评审。结果显示，基座模型表现很差，经后训练的版本明显更好；参数量与部分得分无统计显著关联，各语言学领域能力分布不均。模型在陈述间逻辑关系与部分语篇任务上表现最好，但在歧义、文学风格、指代和误导性假设上仍吃力。

要点速读

1. LALA含236道专家编写的开放式问题及专家参考答案，覆盖语言学与文学研究。
2. 基座模型表现很差，后训练版本明显更好；参数量与部分得分无统计显著关联。
3. 模型在逻辑关系与部分语篇任务上最好，在歧义、文学风格、指代和误导性假设上仍困难。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。