ProQuant：超低比特量化下保留MoE专家质量

ProQuant 用剪枝与比特分配联合优化做 MoE 超低比特量化。

资讯摘要

论文提出 ProQuant，一种面向混合专家（MoE）大模型的仅权重量化后训练（PTQ）框架，针对极低比特预算下生成质量下降的问题。作者指出两项挑战：忽略跨层传播会低估极低精度的非线性量化误差；直接微调路由器可能引发路由漂移，且校准收益未必泛化到下游任务。方法包含联合优化专家剪枝与比特分配的 PoP，以及通过数学等价变换补偿量化误差的 RoCo。作者报告其在多种生成任务上优于现有方法，代码已开源。

要点速读

1. 论文提出 ProQuant 仅权重量化 PTQ 框架，联合优化专家剪枝与混合精度比特分配（PoP）
2. RoCo 通过数学等价变换调整专家输入表示，以补偿量化误差、减少路由漂移
3. 作者报告 ProQuant 在多种生成任务上优于现有方法，代码已在 GitHub 开源

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。