论文以知识关联为遗忘目标，提出强化学习框架 KARU。
资讯摘要
论文指出，现有 LLM 去学习方法通常优化整个回答，未明确界定要遗忘的知识，导致遗忘粗糙且不可控。作者将查询上下文与目标知识之间的关联（KA）定义为遗忘的基本目标，并提出强化学习框架 KARU，通过 token 级奖励、分布级正则和邻近感知的保留采样，在抑制遗忘知识关联的同时保留其余知识。作者报告，在多种 LLM 和基准上，KARU 的遗忘效果优于基线，保留性能与通用能力相当。
要点速读
- 论文将知识关联（KA）定义为查询上下文与目标知识之间的条件预测分布，作为遗忘的基本目标。
- KARU 从该定义出发，采用 token 级奖励构建、分布级正则化和邻近感知保留采样三种机制。
- 作者报告，在多种 LLM 与代表性基准上，KARU 的遗忘效果优于现有基线，保留性能与通用效用相当。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。