LIRA：更具可解释性的动态损失感知秩分配

LIRA 用损失扰动打分让 LoRA 动态秩分配更可解释。

资讯摘要

论文提出 LIRA（Loss-Informed Rank Allocation），一种动态秩 LoRA 方法，旨在让在线秩重分配更具可解释性。它用二阶近似估计各层近期 LoRA 因子变动引起的局部损失扰动幅度，据此为每层打分，使每次秩变化的依据可逐项解释；并周期性应用基于位移的 DELTA 算法，在预算匹配下产生离散有效秩，同时兼容标准 (A,B) 适配器。作者报告在 RoBERTa-base GLUE 的 La-LoRA/LoRA 协议下，LIRA 优于 uniform-LoRA 与自适应秩基线。

要点速读

1. LIRA 以二阶近似估计各层局部损失扰动幅度来打分，使秩重分配依据可逐项解释。
2. 周期性应用 DELTA 位移评估算法，在匹配预算下产生离散有效秩，并兼容标准 (A,B) 适配器。
3. 作者报告在 RoBERTa-base GLUE 的 La-LoRA/LoRA 协议下优于 uniform-LoRA 和自适应秩基线；Trajectory EMA 以更低估计成本达到与 Fixed-point Fisher 相当的表现。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。