选对微调组件可控制输出分布偏移，减少多模态模型学新技能时的遗忘。
资讯摘要
论文研究大型多模态模型顺序微调五个新技能时的遗忘问题，在三个模型家族、八个保留基准上监测通用能力。作者发现，先学一项技能造成的性能损失，在后续学习另一技能时可部分恢复，并将其归因于输出 token 分布偏移，提出计数偏差探针来度量该偏移。据此给出两种只更新部分组件的微调配方，在学习与遗忘的权衡上优于全 LLM 微调，并与 LwF、LoRA、MoE、WiSE-FT 等方法做了对比。
要点速读
- 在 LLaVA-OneVision、LLaVA-NeXT、Qwen2.5-VL 上顺序微调五个技能，并监测八个保留基准的通用能力。
- 作者报告仅更新自注意力投影层（Δ学习 +24.9 / Δ遗忘 -0.6）或仅更新 MLP Gate&Up 并冻结 Down 投影（+30.5 / -2.1），均优于全 LLM 微调（+31.8 / -23.3）。
- 与 LwF、LoRA、Mixture-of-Experts、WiSE-FT 对比，选择性微调在学习-稳定性平衡上相当或更好，且无需回放、辅助参数或逐阶段调参。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。