论文按任务子空间主角度分组再做 SVD 合并，以缓解子空间干扰。
资讯摘要
论文提出 GRAM 模型合并方法，针对多任务部署中任务更新子空间不对齐导致的“子空间干扰”问题。作者指出，合并模型的逐任务投影误差由各任务与共享子空间的主角度对齐程度决定，因此按任务向量主角度几何分组、组内再做 SVD 合并，可降低误差。合并时仅需微调权重。作者报告在 GLUE（Flan-T5）、8 任务 CLIP 视觉及 Qwen2-7B-Instruct 医疗指令微调上优于先前方法。
要点速读
- 论文将任务更新子空间不对齐、投影到共享低秩基时丢失任务相关方向的问题称为“子空间干扰”。
- GRAM 用任务向量主角度几何决定分组，组内执行标准 SVD 合并，合并阶段只需微调权重。
- 作者报告在 GLUE（Flan-T5）、8 任务 CLIP 视觉和 Qwen2-7B-Instruct 四个中英文医疗 LoRA 上优于先前合并方法。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。