MoE大模型端到端FP4强化学习对齐研究

MoE的FP4强化学习需在训练与推理两侧对称做量化恢复。

资讯摘要

论文研究混合专家（MoE）大模型的端到端FP4强化学习后训练。作者发现，适用于稠密模型的FP4恢复方案在MoE上无效，原因是MoE路由的离散专家选择使训练与推理策略对齐对恢复技术是否在两侧对称应用极为敏感；非对称方案会显著降低训练与推理概率的Pearson相关系数及路由选择匹配率。据此提出MoeResQ，强制训练侧与推理侧校正对称，恢复对齐并大幅缩小与全精度的精度差距。

要点速读

1. 论文指出，稠密模型的FP4恢复方案在MoE场景下相对朴素FP4基线没有提升。
2. 作者将根因归于MoE路由的离散专家选择，非对称恢复会恶化训练-推理对齐。
3. 论文提出MoeResQ，要求训练侧与推理侧校正对称，作者报告其缩小了与全精度的精度差距。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。