SDS-LoRA：解耦奇异值以改善低秩适配梯度

SDS-LoRA 通过解耦奇异值改善 LoRA 梯度回传，缩小与全量微调的差距。

资讯摘要

论文从几何角度分析 LoRA 参数化：全量微调梯度回传至低秩矩阵时，会按其奇异值发生各向异性缩放，使梯度偏向主导奇异方向、压低其他方向，降低梯度有效秩，并削弱全量梯度与其低秩近似之间的对齐。作者提出 SDS-LoRA，让全量微调梯度只通过低秩子空间的正交基回传，与尺度无关；收敛分析称其收敛率不依赖条件数。自然语言与视觉基准实验显示，该方法改善损失收敛并缩小与全量微调的差距。

要点速读

1. 论文指出 LoRA 回传梯度会按低秩矩阵奇异值发生各向异性缩放，降低梯度有效秩并加剧与全量微调的差距。
2. 提出 SDS-LoRA，将奇异值与反向传播结构性解耦，使梯度仅经正交基回传。
3. 作者报告在自然语言和视觉基准上损失收敛更好，与全量微调的差距缩小。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。