论文用递归低秩分解进一步压缩PEFT可训练参数。
资讯摘要
论文指出PEFT方法的可训练参数仍存在冗余，提出分层低秩重参数化：将PEFT参数重组为近似方阵，再用可递归的低秩分解逐级压缩，形成多级结构。作者将其与LoRA、DoRA、MoSA、RaSA结合，在LLaMA-3.1-8B和Qwen2.5-7B上评测常识推理，并在LLaMA-3.1-8B上补充GSM8K数学推理实验。作者报告：在相近可训练参数预算下，与LoRA或DoRA结合取得更好表现；原方法参数量压缩约一个数量级时仍保持有竞争力的性能，八项常识推理基准平均准确率甚至可超过对应基线。
要点速读
- 论文提出分层低秩重参数化，将PEFT可训练参数重组为近似方阵后递归低秩分解，逐级压缩参数量。
- 该方法与LoRA、DoRA、MoSA、RaSA结合，在LLaMA-3.1-8B和Qwen2.5-7B上做常识推理评测，并在LLaMA-3.1-8B上补充GSM8K实验。
- 作者报告：相近参数预算下与LoRA或DoRA结合表现更好；参数量压缩约一个数量级时仍具竞争力，八项常识基准平均准确率可超过基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。