论文提出 ARL，用回溯摘要增强长上下文理解。
资讯摘要
论文提出主动回顾学习（ARL）框架，用于增强大语言模型的长上下文理解能力。该方法在继续预训练阶段通过针对性序列构建，让模型回顾并总结前文内容；推理阶段则进行回溯式摘要。具体做法是先依据长、短前向上下文的损失差定位关键 token，找出最相关的前序段落并用 LLM 摘要，再让模型在推理时自主生成和使用这些回溯摘要，形成跨段落的递归记忆机制。作者报告在 RULER 上最高提升 129.7%，在 LongBench 上提升 11–13%，代码已公开。
要点速读
- ARL 通过损失差识别长上下文中的关键 token，并定位最相关的前序段落进行 LLM 摘要。
- 模型在推理时自主生成并使用回溯摘要，形成跨段落的递归记忆机制。
- 作者报告 RULER 最高提升 129.7%、LongBench 提升 11–13%，代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。