MXFP4 训练配方将相对 BF16 的收敛开销从 20% 降至 5%。
资讯摘要
论文提出开源训练配方 ALTO，在 MLPerf Small MoE Training 基准上以 MXFP4 微缩放格式训练 20B 参数 MoE 模型 GPT-OSS-20B。配方结合混合 1D/2D 块量化、随机 Hadamard 变换、随机舍入，以及简化自 TetraJet-v2 的权重去振荡方案。作者报告在 C4 验证集、全局批大小 16 下，16,128 步验证损失为 3.3350，仅比 BF16 基线 3.3283 高 0.007；以达到 MLPerf 质量目标所需步数计，FP4 相对 BF16 的收敛开销从 +20.0% 降至 +5.0%。实验使用 AMD MI300 上的模拟 MXFP4 内核，未优化实际耗时。
要点速读
- ALTO 是面向 GPT-OSS-20B 的 MXFP4 开源训练配方，结合块量化、RHT、随机舍入与去振荡。
- 作者报告 16,128 步验证损失 3.3350，BF16 基线为 3.3283，差距 0.007。
- 达到验证损失 3.34 的步数开销从 +20.0% 降至 +5.0%；实验为 AMD MI300 模拟内核，未优化实际耗时。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。