剪枝冗余注意力头可抑制逐字记忆

剪除冗余注意力头可在推理时大幅减少逐字记忆。

资讯摘要

论文提出，在推理前将大量注意力头置零可显著抑制大模型逐字复述训练数据，同时不损害语言建模表现。作者在 GPT-2-XL（1.5B）上剪除 729 个任务冗余注意力头，报告记忆计数下降 91.5%，WikiText-103 困惑度改善 0.92。该结果表明可在推理阶段利用注意力头冗余缓解记忆问题，无需重训练或改动训练数据。

要点速读

1. 论文在 GPT-2-XL（1.5B）上剪除 729 个任务冗余注意力头，报告记忆计数下降 91.5%。
2. 同一实验中 WikiText-103 困惑度改善 0.92，语言建模表现未被削弱。
3. 作者提出可在推理阶段利用注意力头冗余抑制逐字记忆，无需重训练或修改训练数据。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。