Best-of-Depth：训练循环Transformer的探索动态

BoD 让循环 Transformer 在中间深度探索更多候选解。

资讯摘要

论文提出 Best-of-Depth（BoD）训练方法，将循环 Transformer 的递归轨迹视为候选集，通过最小化各深度的预测损失，让不同有效目标在不同深度被匹配，无需改动架构或增加深度专属标签。作者报告在 N-Queens 补全和图上着色任务上，BoD 的覆盖率优于最终深度训练与中间监督目标，N-Queens 覆盖率达 91.03%，而最终深度训练为 45.75%。

要点速读

1. BoD 通过最小化跨深度的预测损失训练递归轨迹，无需架构改动或深度专属标签。
2. N-Queens 补全任务上覆盖率达 91.03%，最终深度训练为 45.75%。
3. 用 BoD 微调预训练循环语言模型后，在固定深度分别生成程序时，代码生成汇总成功率高于最终深度训练。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。