MPQ：后训练量化的消息传递视角

MPQ 在量化推断中保留软后验信息，作者报告其优于硬判决基线。

资讯摘要

论文将逐行后训练量化（PTQ）建模为离散码本上的后验推断，指出 GPTQ、LDLQ 和块坐标下降等现有求解器相当于零温度硬判决极限，每个权重块在考虑邻居前就锁定单一码字。作者提出 Message-Passing Quantization（MPQ），在推断中保留跨块的软后验信息，仅在输出阶段做硬判决：先用向量近似消息传递计算块级近似后验，再用精确块坐标下降精化硬判决初始化。在 Llama、Qwen、Mistral 系列稠密语言模型的 2-bit 格点量化及 3、4-bit 标量量化上，作者报告 MPQ 在困惑度和零样本准确率上优于强硬判决基线，并能与激活感知缩放、非相干处理等预处理方法配合。

要点速读

1. 论文把逐行 PTQ 视为离散码本后验推断，现有求解器对应零温度硬判决极限。
2. MPQ 用向量近似消息传递求块级软后验，再用块坐标下降精化硬判决。
3. 作者报告在 Llama、Qwen、Mistral 上 2-bit 格点及 3/4-bit 标量量化优于硬判决基线，代码已开源。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。