类型学特征归纳基准：检验LLM的元语言推理

LLM在TFI基准上多靠先验知识而非归纳推理

资讯摘要

论文提出类型学特征归纳（TFI）基准，聚焦元语言推理中“推断规则”这一步：给定未具名语言的句子及已知枢轴语言译文，要求模型预测该语言的类型学特征。作者基于Grambank与多平行语料自动构建覆盖195种语言的评测题。结果显示，LLM仅凭16组句对即可识别59%–80%的语言；打乱译文对齐几乎不影响准确率，说明模型依赖对语言的先验知识。加密文本可提升语料效用，但主要限于目标语言与枢轴语言特征一致的场景；在模型无法识别的语言上，两个开放模型均未超过多数值基线。

要点速读

1. 论文提出TFI基准，从Grambank与多平行语料自动构建覆盖195种语言的评测题。
2. LLM仅凭16组句对识别出59%–80%的语言，打乱译文对齐后准确率几乎不变，作者认为模型依赖先验语言知识。
3. 在模型无法识别的语言上，两个开放模型均未超过多数值基线；作者据此认为所测模型尚不适合从原始文本做归纳。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。