回到最新动态
研究论文 / THE SIGNAL

语言模型保留被放弃的句法分析

Language Models Keep Abandoned Analyses: Residue and Adaptation after Garden-Path Sentences

重要性 5.5 AI 辅助整理

花园路径句的废弃分析会在模型中留下可定位的残留。

资讯摘要

论文提出,花园路径句会在上下文留下两种痕迹:被放弃分析的残留会提高后续宾语附着倾向,约为真正宾语句效果的四分之三;向已消歧结构的适应则随消歧误差增大,主要影响理解类指标。作者在 24 个开放模型(124M 至 70B)中观察到该现象,并用激活修补将两者分离:残留来自消歧前按宾语分析计算的名词短语状态,替换这些状态可在 32B 和 70B 模型中几乎消除残留。

要点速读

  1. 论文在 24 个开放模型(124M 至 70B)中发现花园路径句留下残留与适应两种痕迹。
  2. 残留使后续宾语附着倾向提高约四分之三,并出现在采样文本、留出项与人类常模项中。
  3. 激活修补显示残留来自消歧前名词短语状态,替换后 32B 与 70B 模型残留几乎消失。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开