资讯摘要
论文基于Sajaniemi的变量角色分类体系,研究大语言模型能否从代码中恢复累加、遍历等变量角色区分,以及稀疏自编码器(SAE)如何保留这些区分。作者构建了覆盖五种语言、126,926个自然代码文件的语料,并在五个模型-SAE系统上测试。结果显示残差探针优于单个SAE特征和词法基线,但生成干预常改变角色标注而损害正确性。
要点速读
- 论文为全部十一种变量角色制定静态标注规则,并构建含126,926个自然代码文件、覆盖五种语言的语料。
- 在五个模型-SAE系统中,残差探针表现优于单个SAE特征和所测试的词法基线;组合SAE特征可缩小单特征差距。
- 生成阶段干预常改变角色标注但牺牲正确性,伴随测试通过的改动相对随机对照未见明确总体优势。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:31(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。