SaMA：基于Kronecker积非对称扩展的形态适配

SaMA让PEFT有效秩随参数预算二次增长并可达满秩。

资讯摘要

论文提出参数高效微调方法SaMA，基于Kronecker积的推广，放松perfect-shuffle分解中的共享块约束，使有效秩随参数预算二次增长并可达到满秩，同时将不变流形收缩为对角群以更利于优化器。作者报告在常识与算术推理基准上优于强PEFT基线且更省参数。

要点速读

1. 论文指出LoRA存在两个局限：不变流形在损失曲面产生平坦方向，给自适应优化器带来瓶颈；有效秩仅随参数预算线性增长。
2. SaMA放松perfect-shuffle分解中的共享块约束，秩覆盖从低秩到满秩，实际秩随参数预算二次增长。
3. 作者报告SaMA在常识和算术推理基准上持续优于强PEFT基线，且参数效率更高。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。