回到信息流
研究论文 / THE SIGNAL

语言模型是否理解变量角色?

Do LMs Know What Variables Do? Interpreting Code Representations via Variable Roles

AI 辅助整理

资讯摘要

论文基于Sajaniemi的变量角色分类体系,研究大语言模型能否从代码中恢复累加、遍历等变量角色区分,以及稀疏自编码器(SAE)如何保留这些区分。作者构建了覆盖五种语言、126,926个自然代码文件的语料,并在五个模型-SAE系统上测试。结果显示残差探针优于单个SAE特征和词法基线,但生成干预常改变角色标注而损害正确性。

要点速读

  • 论文为全部十一种变量角色制定静态标注规则,并构建含126,926个自然代码文件、覆盖五种语言的语料。
  • 在五个模型-SAE系统中,残差探针表现优于单个SAE特征和所测试的词法基线;组合SAE特征可缩小单特征差距。
  • 生成阶段干预常改变角色标注但牺牲正确性,伴随测试通过的改动相对随机对照未见明确总体优势。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:31(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开