CAMR：面向大语言模型持续学习的兼容性感知记忆回放

CAMR 用兼容性检查与记忆门控决定监督和回放，缓解持续学习遗忘。

资讯摘要

论文提出兼容性感知记忆回放框架 CAMR，联合控制当前样本是否接受监督以及历史样本回放，通过兼容性检查与学习式记忆门控，在三种动作间选择在线策略：结合通用回放学习新样本、联合强化兼容的相关样本、跳过已掌握重复样本的直接监督。作者在 Qwen3-8B-Base 上评估持续事实更新与跨任务、跨域学习，报告 WikiBigEdit 上 3K 至 100K 事实的 Original Match 领先，3K 事实后达 93.66%。

要点速读

1. CAMR 将兼容性检查与学习式记忆门控结合，在每批到达的回放预算约束下学习在线策略。
2. 在 WikiBigEdit 上，CAMR 在 3K 至 100K 事实的 Original Match 上领先所评估方法，3K 事实后为 93.66%。
3. 在 TRACE 四个任务上取得最高最终分数，并在金融问答、数学推理、代码生成与摘要序列中维持或提升早期任务表现。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。