论文发现概率差异不能可靠代理语法性判断。
资讯摘要
一篇 arXiv 论文用模型内部表示考察大语言模型如何表征合语法与不合语法的区分。作者构建新基准，从 8 个模型提取对数概率之和并计算最小对惊讶度差异，对比合语法句与低频合语法句、不合语法句、语义怪异句、语用怪异句。结果显示不合语法提示没有独特的惊讶度特征，语用怪异条件惊讶度相近，语义怪异条件甚至更高，因此概率差异不能作为语法性的可靠代理。
要点速读
- 论文从 8 个模型提取 sum log probabilities，计算最小对惊讶度差异，设置四类违反条件作对比。
- 结果未发现不合语法提示的独特惊讶度特征：语用怪异条件惊讶度相近，语义怪异条件持续更高。
- 作者认为仅凭概率差异无法推断模型内部的句法知识表征，相关能力主张需用其他方法验证。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。