ActTail 按重尾指数分配各投影层稀疏预算，高稀疏下困惑度优于均匀分配。
资讯摘要
论文提出 ActTail，一种基于 TopK 幅值的激活稀疏方法，依据 Heavy-Tailed Self-Regularization（HT-SR）理论做全局稀疏预算分配。作者用各投影层经验谱密度算出的重尾指数衡量权重异质性，并给出激活稀疏率与重尾指数关系的理论分析。在 LLaMA 与 Mistral 上的实验显示，高稀疏下该方法优于均匀分配：80% 稀疏时，LLaMA-2-7B 困惑度降低 21.8%，LLaMA-2-13B 降低 40.1%，Mistral-7B 降低 9.4%。
要点速读
- 现有激活稀疏方法对各投影层采用统一稀疏度，忽略 Transformer 权重的异质统计特性，会放大性能退化。
- ActTail 用各投影层经验谱密度计算重尾指数，作为分配投影专属稀疏预算的量化指标，并给出稀疏率与重尾指数的理论关系。
- 作者报告在 LLaMA 与 Mistral 上，80% 稀疏时困惑度较均匀分配分别降低 21.8%、40.1% 和 9.4%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。