FP4Quant：面向模型并行LLM训练的4比特通信压缩

FP4Quant在H100上用Qwen-7B实现较BF16最高1.56倍吞吐提升

资讯摘要

论文提出FP4Quant，一个面向模型并行LLM训练的微分组FP4压缩框架，用于降低分布式训练中的通信开销。其包含微分组双尺度FP4量化、warp协作的FP4打包方案，以及混合两级FWHT流水线，以缓解量化误差并做GPU执行优化。作者在NVIDIA H100上用Qwen-7B实验，报告端到端吞吐较BF16最高提升1.56倍，同时指出吞吐与模型质量之间存在权衡。

要点速读

1. 论文提出微分组双尺度FP4量化机制，用于保留张量局部分布特征。
2. 采用warp协作FP4打包方案实现亚字节数据表示，并用混合两级FWHT流水线降低量化误差。
3. 在NVIDIA H100与Qwen-7B上，作者报告端到端吞吐较BF16最高提升1.56倍，但存在吞吐与模型质量的权衡。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。