跨预训练模型的LoRA叠加

不同骨干上训练的LoRA可直接相加并通用

资讯摘要

论文提出“LoRA superposition”：将同一任务在不同预训练骨干上独立训练的LoRA直接相加，并原样应用于所有参与骨干。在七个ViT-B/16 CLIP骨干和八个图像分类任务上，精确求和使全部56个骨干-任务组合均有提升，平均准确率较未适配骨干高30.21个百分点，仅比单独训练的solo LoRA低0.28个百分点。作者据此提出组件级互不干扰假设。

要点速读

1. 在7个ViT-B/16 CLIP骨干、8个图像分类任务共56个组合上，精确求和全部提升，平均增益30.21个百分点。
2. 精确求和平均准确率仅比单独训练的solo LoRA低0.28个百分点；留一模型求和（LOMO）平均增益仅0.06个百分点。
3. 作者报告骨干专属solo LoRA在参数空间近乎正交，跨骨干响应集中于对角线，并提出组件级互不干扰假设。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。