LARE：固定数据配比下按损失重加权提升预训练

固定数据配比下调整领域损失权重可提升多项能力。

资讯摘要

论文研究在不改变各领域数据曝光量的前提下，通过调整各领域损失权重来改善多阶段预训练中的遗忘与权衡问题。作者提出 LARE（Loss-Adaptive Reweighting under fixed Exposure），依据运行中的损失统计自动调整领域权重，采用归一化反平方根规则平衡相对损失尺度，无需额外搜索权重。作者报告在 1.5B 模型、240B token 训练下，知识、数学、代码五个评测基准全部提升，平均较匹配的直接混合高 7.84 个百分点，GSM8K 提升 17.06 个百分点、MATH 提升 9.00 个百分点。

要点速读

1. 论文提出 LARE，在固定数据曝光下根据运行损失统计自动调整领域权重，不改变采样配比。
2. 方法基于梯度噪声的理论分析，采用归一化反平方根规则平衡各领域相对损失尺度。
3. 作者报告 1.5B 模型训练 240B token 后五个基准平均提升 7.84 个百分点，GSM8K +17.06、MATH +9.00 个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。