基于逐层误差模型搜索改进SVD大模型压缩

论文提出LEMS与KFAC-SVD改进SVD大模型压缩

资讯摘要

论文针对低秩SVD压缩大模型的两点不足提出改进：全局秩分配中未校准误差代理难以刻画误差传播，Fisher类估计器存在秩塌缩。作者提出LEMS，用融合局部与全局层重要性及传播偏差的逐层误差代理，经ILP完成全局秩分配；并提出KFAC-SVD，利用token级统计改善分解质量。在Mistral、Qwen3、Llama 3系列上，作者报告零样本准确率最高提升4.8个百分点并可泛化至70B，KFAC-SVD困惑度平均改善15%。

要点速读

1. LEMS以逐层误差代理结合局部/全局层重要性与传播偏差，通过ILP做全局秩分配
2. KFAC-SVD使用token级统计缓解此前Fisher类SVD的秩亏问题
3. 作者报告在Mistral、Qwen3、Llama 3上零样本准确率最高提升4.8个百分点，KFAC-SVD困惑度平均改善15%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。