论文测得循环等价指数 φ=0.46，循环块无法完全替代独立块。
资讯摘要
论文提出循环语言模型的等深度缩放定律，用联合公式拟合循环次数 r∈{1,2,4,8}、训练算力跨度约50倍的预训练结果，测得循环等价指数 φ=0.46，介于完全等价（φ=1）与无容量增益（φ=0）之间。作者报告 r=4 时 410M 循环模型效果与 580M 非循环模型相当，但训练成本相当于 1B 非循环模型。截断反向传播使 φ 降至 0.38，超连接使其升至 0.65。
要点速读
- 论文拟合联合缩放定律 L = E + A (N_once + r^φ N_rec)^(-α) + B D^(-β)，测得 φ=0.46。
- 作者报告 r=4 时 410M 循环模型验证损失与 580M 非循环模型相当，训练成本却相当于 1B 非循环模型。
- 截断反向传播使 φ 降至 0.38，超连接使 φ 升至 0.65；代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。