论文报告大模型在不可能语言上表现接近可能语言。
资讯摘要
一篇 arXiv 论文提出“语义连贯性”概念，衡量语义信息在语言结构中的表达效率，并据此考察不同规模语言模型学习“不可能语言”（违反人类语言结构、认知或逻辑约束的语言）的能力。作者报告，在不可能语言样本上微调后，十亿参数级模型的表现与可能语言相近，而百万参数级模型显著退化，且语义复杂度越高差距越大。论文还称，扩大模型规模会把学习重点从语法规则转向语义理解。
要点速读
- 论文提出“语义连贯性”概念，用于衡量语义信息在语言结构中的表达效率。
- 作者报告：十亿参数级模型在不可能语言与可能语言上表现相近，百万参数级模型则明显退化，差距随语义复杂度上升而扩大。
- 论文称规模扩大使学习重点从语法规则转向语义理解，十亿级模型对低层语言扰动的敏感度降低约三倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。