论文称LCCP收益可预测且未饱和，不宜过早停止。
资讯摘要
论文研究长上下文持续预训练（LCCP）收益随token预算的缩放规律，提出将长上下文表现与模型规模、短上下文预训练和LCCP各自token预算关联的经验加性幂律，在五个模型规模、逾百种预算配置上拟合良好并可外推。作者还提出Constant-Last4协议，对恒定学习率下最近四个连续检查点取平均以稳定监测；据此对1.22B参数模型约100B LCCP token的训练轨迹进行预测，下游评测显示长上下文能力持续提升、在评估范围内未见饱和，且在128K上下文扩展与监督微调后仍保留，并延伸至长上下文理解与智能体任务。
要点速读
- 论文提出经验加性幂律，将长上下文表现与模型规模及短上下文预训练、LCCP的token预算关联，在五个模型规模和逾百种配置上拟合并可外推到留出规模。
- 作者提出Constant-Last4协议，对恒定学习率运行中最近四个连续检查点取平均，用于沿单一可扩展训练轨迹稳定监测。
- 对1.22B参数模型约100B LCCP token的轨迹，论文报告缩放律形式拟合良好并能预测表现，下游评测未见饱和，收益在128K扩展和监督微调后仍存在。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。