论文提出无需外部数据的长上下文推理自训练方法 LongZero。
资讯摘要
论文提出 LongZero，一种让大模型在无外部数据条件下自我提升长上下文推理的方法。它不依赖现有文档出题，而是先让模型以紧凑结构化形式合成问题、答案及支撑证据，再把证据扩展为长多文档上下文，并结合自写的多跳推理任务与多轮检索任务，用 GRPO 训练。作者在两个模型、五个长上下文基准上评测，报告其可泛化到真实任务并优于两个基线。
要点速读
- LongZero 先合成结构化的问题、答案与证据，再单独将证据扩展为长多文档上下文，避免依赖外部语料或更强教师模型。
- 方法将自写的多跳推理任务与自写的多轮检索任务结合，使用 GRPO 训练。
- 作者在两个 LLM、五个长上下文推理基准上评测，报告其优于外部语料合成数据的 RL 基线，并能泛化到真实任务。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。