论文提出initAA初始化，缓解LoRA+非对称学习率的不稳定与崩溃。
资讯摘要
论文针对LoRA+非对称学习率中η_B/η_A比例易导致训练不稳定和性能崩溃的问题，通过信号-噪声分解指出标准初始化下存在由η_B、初始化尺度β和秩r影响的初始化噪声项。作者提出initAA初始化，将A的方差按σ_A²∝n⁻²缩放并保持B₀=0，在相同秩和训练时间下进一步降低初始化噪声能量。实验报告称该方法拓宽了稳定学习率区间，减少最佳比例漂移并避免高比例崩溃。
要点速读
- 论文将LoRA+的比例敏感性归因于标准初始化引入的噪声项，其幅度受η_B、初始化尺度β和秩r影响。
- 提出initAA：令A的方差σ_A²∝n⁻²、B₀=0，保持初始适配器输出为零。
- 作者报告initAA在多种初始化尺度、秩和更新倍数下拓宽稳定学习率区域，并避免高比例崩溃。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。