统一Hessian引导的训练后量化框架

论文用Hessian引导统一优化量化范围、变换与舍入。

资讯摘要

论文提出一种统一的训练后量化框架，用Hessian引导近似权重与激活联合量化引起的输出变化，并基于可处理的Fisher近似，在统一的输出敏感目标下联合优化量化范围、线性变换与权重量化舍入。作者报告该方法对现代大语言模型仍具实用性，在逐通道与分块量化设置下均优于现有变换与舍入方法。

要点速读

1. 论文指出，现有方法通常用局部重建目标分别优化量化范围、线性变换和舍入决策，未考虑量化误差对下游预测的不同影响。
2. 论文推导了权重与激活联合量化所致输出变化的Hessian引导近似，并基于Fisher近似构建统一优化目标。
3. 作者报告该方法在逐通道和分块量化下均优于当前最优的变换与舍入方法，且对现代大语言模型保持实用。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。