因果归因剪枝保持大模型推理性能

论文用注意力头因果归因指导剪枝，中低稀疏度下优于 Wanda。

资讯摘要

论文提出免训练的因果归因剪枝（CAP）：在小型推理校准集上前向屏蔽各注意力头，估计性能下降作为因果分数，再映射为投影矩阵的权重重要性以指导细粒度剪枝。作者在 Llama-3-8B-Instruct 与 Mistral-7B-Instruct 上，用 GSM8K、StrategyQA、ARC-Challenge 在 10%、20%、50% 稀疏度下评测；中等稀疏度下多数配置优于 Wanda，ARC-Challenge 上相对准确率提升最高 61%，但 50% 稀疏度受 MLP 粗粒度归因限制。

要点速读

1. CAP 为免训练方法，用屏蔽注意力头的因果分数指导权重剪枝
2. 在 10%–20% 稀疏度下多数模型-基准配置优于 Wanda，ARC-Challenge 相对准确率提升最高 61%
3. 50% 稀疏度下效果受 MLP 粗粒度归因限制

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。