SVD-Attention：诊断Transformer注意力块的低秩冗余

SVD-Attention可定位注意力冗余层，截断代价远低于随机截断。

资讯摘要

论文提出SVD-Attention，一种事后分析方法：对每个注意力头的交互矩阵做奇异值分解，结合谱幅度与校准集上的激活方差给各奇异模式打分，保留头能放大且真实数据会激活的模式，无需微调。作者在七个预训练模型、五类任务上发现冗余分布随任务变化：情感与图像分类及生成任务集中在早中期层，密集预测与抽取式问答集中在后期层。截断被标记层最多损失1.75 F1，截断同数量其他层最多损失50 F1。

要点速读

1. 方法对每个头的交互矩阵Mₕ做SVD，按谱幅度和token激活方差筛选模式，保留部分为精确分解且无需微调。
2. 在七个预训练模型、五类任务上，冗余层位置随任务不同：分类与生成在早中期层，密集预测与抽取式问答在后期层。
3. 截断被标记层最多损失1.75 F1，截断同数量其他层最多损失50 F1；单独使用降低推理FLOPs 0.8–1.5%，与权重剪枝组合降低8–11%，任务质量变化0–4%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。