后期循环的查询集合可迁移并支持桥接条件检索。
资讯摘要
论文研究预训练循环语言模型Ouro-1.4B与Ouro-2.6B中后续循环如何修复两跳检索。作者在同一层、同一注意力头与最终提示位置之间移植注意力查询，发现在合成上下文问题中，将loop-3查询集合注入loop-1可挽救90%和97%在loop-1答错、loop-3答对的问题，而打乱供体仅24%和21%。该效果在Ouro-2.6B贪心生成下仍成立，在Ouro-1.4B仅限四候选排序。
要点速读
- 作者通过在同一层、头与最终提示位置间移植注意力查询，研究Ouro-1.4B和Ouro-2.6B的循环间信息传递。
- 合成问题中，将loop-3查询集合注入loop-1可挽救90%（1.4B）和97%（2.6B）在loop-1答错、loop-3答对的问题，打乱供体仅24%和21%。
- 交叉供体-受体交换更倾向于沿供体的桥接实体检索而非复制答案，但Ouro-2.6B仍存在明显位置成分；自然问题上挽救较小且仅在Ouro-2.6B复现。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。