COP：用正交投影保持持续遗忘中的模型效用

COP 用正交投影缓解顺序遗忘中的更新干扰。

资讯摘要

论文关注大模型持续遗忘（unlearning）问题：模型生命周期内会不断收到删除敏感数据的请求，而多数现有方法不适合迭代删除，顺序遗忘时遗忘效果与模型效用会快速衰减，原因是相邻更新相互干扰。作者提出 Continual Orthogonal Projection（COP），将每次更新限制在由先前遗忘集激活子空间的正交补内，论文称可证明一阶不干扰先前删除，且每层仅存低秩基。在 TOFU 与 RWKU 基准上，作者报告 COP 在顺序请求中保持效用且不削弱遗忘。

要点速读

1. 论文指出多数 LLM 遗忘方法不适合迭代删除，顺序遗忘会导致遗忘与效用快速衰减。
2. COP 采用梯度投影，将更新限制在先前遗忘集激活子空间的正交补内，每层仅需存储低秩基。
3. 作者报告在 TOFU 和 RWKU 上，COP 在顺序请求中保持效用、不削弱遗忘，并优于持续遗忘专用基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。