MoBiQuant按token敏感度动态选择量化精度
资讯摘要
论文提出MoBiQuant，一种任意精度的混合比特量化框架，可按token敏感度动态调整权重精度。作者将跨比特宽度泛化差归因于“精度相关离群值迁移”现象，并提出多合一递归残差量化，在运行时迭代重建更高精度权重，配合token感知路由器为每个token选择最优推理精度。作者报告其性能匹配或超过前沿单精度PTQ，吞吐量最高提升1.34倍，代码已开源。
要点速读
- 论文将PTQ在不同比特宽度下泛化差归因于精度相关的离群值迁移现象
- 提出多合一递归残差量化，可在运行时迭代重建更高精度权重
- token感知路由器动态选择每个token的推理精度；作者报告吞吐量最高提升1.34倍
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。