FLAMIA在Blackwell上以低精度注意力内核实现最高约1.4倍加速。
资讯摘要
论文提出FLAMIA，一套面向NVIDIA Blackwell GPU的注意力内核，支持MXFP8与NVFP4/FP8混合训练路径。设计结合token块缩放、针对共享缩放导致因果信息泄漏的防护，以及前后向一致计算，并支持打包文档布局下的变长文档调度。作者报告在因果打包文档负载上，MXFP8路径含量化的前后向注意力调用较各负载最快基线加速1.10–1.40倍（B200）和1.06–1.42倍（B300），并在Llama式预训练中验证训练稳定性与质量保持。
要点速读
- FLAMIA提供MXFP8和混合NVFP4/FP8两种Blackwell注意力训练路径，针对量化开销、共享缩放引发的因果泄漏及前后向数值不一致问题。
- 采用token块缩放复用跨矩阵方向的量化操作数，并以文档局部缩放和工作负载感知调度支持打包布局中的变长文档，无需重打包。
- 作者报告MXFP8路径在B200上加速1.10–1.40倍、B300上1.06–1.42倍，并在Llama式模型预训练中验证稳定性与质量。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26（北京时间）。