训练后加循环层是否值得推理算力开销

训练后加循环层仅在固定参数预算的小模型上划算。

资讯摘要

论文研究在已训练模型上追加循环层（让每个 token 多次经过同一组层）是否值得额外推理算力。作者以 Qwen3 和 Qwen3.5 的 0.8B 至 9B 模型对比同参数无循环版本与同等推理 FLOPs 的最优无循环用法，发现仅 0.8B 循环模型同时胜过两个基线；4B 和 9B 上循环模型未胜过同参数无循环基线。

要点速读

1. 循环层不改变参数量、磁盘占用、内存占用与训练成本，但每个生成 token 的推理开销约为 (N+m)/N 倍。
2. 在 Qwen3 与 Qwen3.5 的 0.8B 到 9B 模型上，仅 0.8B 循环模型同时优于同参数无循环基线和同等推理 FLOPs 的最优无循环用法。
3. 4B 和 9B 上循环模型未胜过同参数无循环基线；作者指出同基准下无循环 9B 比 4B 高至多 13 分，说明提升空间充足。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。