论文提出重写缩放定律，最优重写占比随算力上升。
资讯摘要
论文提出一种重写缩放定律，用模型规模、训练 token 数、重写 token 占比和自然数据轮数预测损失，并把生成重写所耗算力计入。在算力受限设定下，最优重写占比随算力上升，从 3×10¹⁸ FLOPs 时不足 10% 增至 10²² FLOPs 时 32%；外推 33 倍 FLOPs 训练的 22B 模型最终损失与预测相差 1.1% 以内。在数据受限设定下，最优重写占比同样随算力预算上升。
要点速读
- 论文提出重写缩放定律，将生成重写所耗算力纳入损失预测。
- 算力受限设定下，最优重写占比从 3×10¹⁸ FLOPs 的不足 10% 升至 10²² FLOPs 的 32%。
- 外推训练的 22B 模型最终损失与预测相差 1.1% 以内，作者报告其在多个网页域上 BPB 优于重写器。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。