MEMENTO：训练长上下文智能体的上下文管理

MEMENTO 用微调加强化学习让 8B 模型学会压缩上下文做长文问答。

资讯摘要

论文提出 MEMENTO，一个基于 Qwen3-8B 训练的长上下文智能体，通过压缩（compaction）管理固定上下文窗口。作者先用带事后注释笔记的合成轨迹微调，再用结合答案正确性、笔记质量启发式与置信度校准的奖励做强化学习。在四个书籍级问答基准（最长 250 万 token）上，作者报告其将 Qwen3-8B 准确率从 36.9% 提升至 67.8%，上下文始终不超过 20K token。

要点速读

1. 论文指出 GPT-5.5、GLM-5.3 等现成智能体常写出无效笔记，仅靠强化学习难以学会有效记笔记。
2. MEMENTO 先以事后生成的笔记注释合成轨迹做微调，再用答案正确性、笔记质量与置信度校准的复合奖励做强化学习。
3. 作者报告在四个书籍级问答基准上准确率由 36.9% 升至 67.8%，上下文不超过 20K token，并称成本低于对比方案。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。