循环语言模型训练：反向传播窗口随预算变化

循环语言模型的反向传播窗口优劣取决于训练预算。

资讯摘要

论文研究循环语言模型训练中反向传播窗口的选择：长窗口提升每 token 学习效率但增加单次更新成本，短窗口相反。作者在相同数据上训练两种窗口，并在各预算下以近似相同训练时间比较完整训练配方。结果显示，预算增大时短窗口的优势明显缩小，两种收益均下降，且延长训练带来的收益下降更多；偏好窗口可随预算变化。

要点速读

1. 论文比较循环语言模型中长、短反向传播窗口在不同训练预算下的相对表现。
2. 方法上让两种窗口使用相同数据，以隔离每 token 效率，并在各预算下按近似相同训练时间比较完整训练配方。
3. 作者报告：预算增大时短窗口优势大幅缩小，两种收益均下降，延长训练的收益下降更多，偏好窗口可能改变。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。