论文发现蒸馏后IOI电路崩塌而GT电路经重映射保留。
资讯摘要
论文用线性CKA、logit lens、注意力模式分解、稀疏自编码器特征统计和激活修补，比较GPT-2与六层学生模型DistilGPT-2在IOI电路和Greater-Than电路上的差异。作者报告IOI电路完全机制性崩塌（准确率35.2%对94.8%，name-mover未被保留），而GT电路通过将教师第9层比较头重映射到学生第4层，恢复87.7%任务性能（平均Pearson r=0.945）。论文据此提出电路可压缩性决定蒸馏后的机制存留，聚合指标不足以诊断电路完整性。
要点速读
- 论文比较GPT-2与DistilGPT-2在IOI和Greater-Than两个经典电路上的机制差异。
- 作者报告IOI电路完全崩塌：DistilGPT-2准确率35.2%，GPT-2为94.8%，name-mover零保留。
- 作者报告GT电路恢复87.7%任务性能，教师第9层比较头重映射到学生第4层，平均Pearson r=0.945。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。