InfoQuant 以免训练方式整形激活分布，提升低比特量化精度。
资讯摘要
论文将激活变换重新表述为面向量化器的分布设计，并从信息论角度分析量化误差，指出易量化激活应同时具备更小的数值范围和足够的离散度。据此提出免训练方法 InfoQuant，用峰值抑制正交变换（PSOT）整形激活分布，并引入自适应离群 token 选择提升优化稳健性。作者报告在多个 LLM 系列上优于既有 PTQ 与端到端训练基线，W4A4KV4 下平均保留 97% 浮点精度。
要点速读
- 论文提出免训练方法 InfoQuant，核心为峰值抑制正交变换（PSOT），并加入自适应离群 token 选择。
- 作者报告在多个 LLM 系列上优于先前 PTQ 与端到端训练基线。
- 作者报告 W4A4KV4 下平均保留 97% 浮点精度，LLaMA-2 13B 性能差距较此前最优缩小 42%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。