FedPA-LoRA 同时缓解联邦LoRA的两类失配并报告GLUE增益。
资讯摘要
论文提出 FedPA-LoRA，针对联邦 LoRA 微调中因子级聚合与乘积空间重建带来的聚合失配和初始化失配问题。方法让客户端跨轮保留本地因子以消除初始化失配，并按秩对齐全局参考以减少客户端漂移；服务器在乘积空间聚合异构秩更新，无需构造稠密聚合即可重建秩约束的全局适配器。作者报告在自然语言理解与生成任务上取得稳定增益，异构秩下 GLUE 平均准确率提升 6.82 个百分点，代码已公开。
要点速读
- 论文指出因子级聚合与乘积空间重建分别带来聚合失配和因子级初始化失配。
- FedPA-LoRA 在乘积空间聚合异构秩更新，并解耦本地秩与参考秩以适配不同计算与通信预算。
- 作者报告异构秩下 GLUE 平均准确率提升 6.82 个百分点，代码已在 GitHub 公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。