LoRA 机制分析揭示层稀疏性并提出 Adaptive-LoRA

LoRA 适配效果稀疏且任务相关，可按任务选层微调。

资讯摘要

论文对 LoRA 进行机制可解释性分析，发现其适配效果在组件和层上高度稀疏，且重要层高度依赖任务、跨任务重叠有限。作者据此提出 Adaptive-LoRA，通过冻结基座零消融校准自动识别任务相关层。在 Qwen2.5-1.5B 的 11 个推理任务上，作者报告其仅用 30% 层即优于全层 LoRA，适配器参数减少 3.5 倍。

要点速读

1. 论文观察到 LoRA 适配效果存在显著的组件级与层级稀疏性。
2. 重要层高度任务相关，不同任务间重叠有限。
3. Adaptive-LoRA 用冻结基座零消融校准选层，作者报告在 Qwen2.5-1.5B 的 11 个推理任务上以 30% 层超过全层 LoRA，参数减少 3.5 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。