KV cache 修补可迁移或移除部分微调行为，且效果集中于少数关键位置。
资讯摘要
论文研究 LoRA 微调后的行为在模型何处产生，方法是将微调模型的 KV cache 修补进未修改的基座模型，并反向操作。作者报告，对“用德语回答”和“涌现性失准”等行为，KV cache 修补可将行为从微调模型迁移到基座模型，反向修补则可部分或完全移除微调行为。修补效果随修补比例增大而增强，并集中在少数关键位置，系统提示与聊天模板 token 影响尤为突出。
要点速读
- 论文将 LoRA 微调模型的 KV cache 修补进基座模型，并做反向修补，以定位微调行为来源。
- 作者报告，德语回答与涌现性失准等行为可通过 KV cache 修补迁移，反向修补可部分或完全移除。
- 修补效果随修补比例增大而增强，并集中于少数关键位置，系统提示和聊天模板 token 影响突出。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。