Transformer 语言模型权重剪枝的机制性失效模式

输出指标与结构检查都可能漏掉剪枝造成的机制性损伤。

资讯摘要

论文在 GPT-2 上做因子剪枝实验，交叉两种重要性准则、两类组件和三个稀疏度，并用激活修补、路径修补与直接 logit 归因测量 IOI 电路完整性。作者报告两种性质不同的失效模式：幅度剪枝注意力头会移除面向输出的头，使模型接近随机；幅度剪枝神经元在 30% 时使 Name Mover 贡献反号，模型系统性偏向错误名字。困惑度却把后者排得比随机剪头更轻。

要点速读

1. 实验在 GPT-2 上交叉幅度/随机准则、注意力头/MLP 神经元与 3%、50%、70% 稀疏度。
2. 幅度剪枝注意力头会移除面向输出的电路头，模型输出接近随机。
3. 30% 幅度神经元剪枝使全部 26 个电路头保留但 Name Mover 贡献反号，准确率 17.7%，困惑度仍低于随机剪头（74.6 对 140.1）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。