ResCom 用激活残差低秩校正提升 4-bit 量化模型精度。
资讯摘要
论文提出 ResCom，一种低秩校正方法，利用激活舍入残差补偿量化后层输出误差。其输出感知校准按对输出重建的贡献选择残差方向，并以闭式解计算校正，无需梯度训练或改动已校准权重。作者报告在 Llama-3-8B 的 4-bit 权重与激活设置下，rank-32 注意力校正将 WikiText-2 困惑度从 7.708 降至 7.147，MMLU 提升 2.89 个百分点，五样本 GSM8K 准确率从 23.96% 升至 36.16%。
要点速读
- ResCom 用激活舍入残差做低秩校正，闭式求解，无需梯度训练或更新已校准权重。
- 在 Llama-3-8B 4-bit 权重与激活下，作者报告 WikiText-2 困惑度 7.708→7.147、MMLU +2.89 个百分点、GSM8K 23.96%→36.16%。
- 作者称在 1B 至 70B 模型及 C4 留出集上评估；FP32 实现使 4K prefill 时间增加 2.25%，紧凑存储实现相对 FP16 保留 27.7% 峰值内存降幅。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。