bf16 转换或使三值模型微调效果回退

三值模型按文档 bf16 导出可致微调效果大幅回退。

资讯摘要

论文审计三个实验室发布的三值语言模型检查点，发现按文档流程先转 bf16 再导出，会使部分部署码与 fp32 量化结果不一致。在微调终点且学习率匹配 ULP 时，Falcon-E-1B-Base 的 GSM8K 严格准确率从 58.79% 降至 0.78%，BitCPM-CANN-0.5B 从 36.13% 降至 0.39%；2B-4T 经 bf16 保存重载后下降 27.54 个百分点。作者报告直接写入训练码或调整 bf16 输入可满足非劣效标准。

要点速读

1. 论文审计三个实验室的发布检查点，fp32 量化与部署码不一致比例约 0.83%–1.77%，2B-4T 为 1.530%。
2. 微调终点 ULP 匹配学习率下，导出使 Falcon-E-1B-Base 的 GSM8K 严格准确率从 58.79% 降至 0.78%，BitCPM-CANN-0.5B 从 36.13% 降至 0.39%。
3. 作者报告直接写入训练码或调整 bf16 输入两种补救方案，在三款模型上均满足 4 点严格准确率非劣效标准。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。