联合训练可兼顾单次与循环推理，减少单次质量退化。
资讯摘要
论文研究在不增加参数的前提下，通过复用中间层权重让预训练模型同时支持单次推理与循环推理。由于两条路径共享权重，提升循环预测可能损害单次质量。作者提出对两种输出加权联合训练，并以冻结的原始模型作引导；结果显示联合监督显著减少单次性能退化，同时保留循环推理相对普通继续训练的增益。
要点速读
- 论文提出复用中间层权重，使同一预训练模型支持单次与循环两种推理路径。
- 作者报告联合监督相比仅训练循环路径，能大幅降低单次推理的性能退化。
- 作者称大部分收益来自调整单次损失权重，冻结原模型的引导进一步改善循环输出。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。