SHIFT 用收缩-修复前瞻外推，使遗忘结果更接近重训模型。
资讯摘要
论文针对现有似然抑制式遗忘目标缺乏明确遗忘目标、对优化预算敏感的问题，提出 SHIFT 方法：将微调模型向微调前权重收缩并短暂重学保留集，以估计指向重训模型的“oracle”方向，再将该前瞻的逐 token 变化外推为蒸馏目标并迭代精炼。作者报告在 OpenUnlearning 协议下对比 11 个基线，SHIFT 在全部 TOFU 设置上取得最高综合得分，与 oracle 的对齐平均比次优方法近 3.7 倍，在 MUSE 上保留知识最多，且在更大优化预算和重学攻击下仍接近 oracle。
要点速读
- 论文提出 SHIFT，通过向微调前权重收缩并短暂重学保留集来估计指向重训模型的方向，再外推为蒸馏目标。
- 作者报告在 OpenUnlearning 协议下对比 11 个基线，SHIFT 在全部 TOFU 设置上综合得分最高，与 oracle 对齐平均比次优方法近 3.7 倍。
- 作者报告在 MUSE 上 SHIFT 保留知识最多，且在更大优化预算与重学攻击下仍接近 oracle，而基线会过冲。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。