论文：bf16 舍入丢弃多数 RL 策略更新，提出一行修复

bf16 舍入会静默丢弃多数 RL 策略更新，可用一行无偏舍入修复。

资讯摘要

论文指出，语言模型 RL 后训练中，优化器保留 fp32 主权重，rollout 使用 round-to-nearest 转换的 bf16 副本；常用学习率下多数单步更新小于半个 bf16 间距而被丢弃。作者报告 Qwen3-1.7B 每步仅 0.4-0.5% 权重变化，策略落后优化器 50-150 步，现有失配校正无法察觉。论文提出 Fair Cast：导出时改用随机舍入或误差反馈，并在服务副本上计算训练损失。

要点速读

1. 论文报告 Qwen3-1.7B 上每步仅 0.4-0.5% 的权重发生变化，生成数据的策略落后优化器 50-150 步
2. Fair Cast 在导出调用处改一行，不增加超参数，1.7B 参数每次导出耗时 22-38 ms
3. 在 Qwen3-0.6B 至 4B 的 25 组配对种子实验中，18 组领先、6 组持平、1 组落后，平均提升 6.1 分

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。