ETAPS：渐进剪枝与稀疏适配的极端稀疏LLM剪枝方法

ETAPS以渐进剪枝和稀疏适配在极端稀疏下兼顾质量与成本。

资讯摘要

论文提出ETAPS，通过分阶段收紧全局稀疏约束、并以固定小预算训练稀疏增量，使每步剪枝幅度足够小、可由稀疏适配补偿，从而在无需模型规模优化器状态的情况下获得端到端梯度指导下一步剪枝。作者报告在125M至13B参数的六个模型上，50%至90%各稀疏度下困惑度均低于ELSA，最高降低42%；90%稀疏度下剪枝LLaMA2-7B仅用单张H200，持久状态缩小5.0倍，GPU小时减少49%。

要点速读

1. ETAPS采用渐进剪枝加稀疏适配，避免模型规模的优化器状态与辅助变量。
2. 作者报告在六个模型、50%–90%稀疏度下困惑度均优于ELSA，最高降低42%。
3. 90%稀疏度剪枝LLaMA2-7B时用单张H200（ELSA用四张），持久状态小5.0倍、GPU小时少49%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。