论文用功能路径分解解释约束微调仍遗忘的机制。
资讯摘要
论文针对持续监督微调中约束更新仍导致旧行为遗忘的问题，提出功能路径分析框架，将旧损失变化沿实际更新轨迹分解为受控方向、梯度陈旧、探针失配与有限步效应，并据此给出条件刷新预算与信息性回放提供的恢复方向。作者报告匹配的QLoRA干预显示，约束放置位置对保留影响显著，而粒度交互取决于端点。
要点速读
- 论文提出功能路径分解，将旧损失变化拆为受控方向、梯度陈旧、探针失配和有限步效应，并给出条件刷新预算。
- 匹配QLoRA干预显示，约束放在Adam前后对保留影响显著，粒度交互则取决于端点。
- 顺序任务比较中，子空间正则与投影提升平均保留但不同旧任务间存在权衡，监督回放在该设定下更稳定地保护新旧任务。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。