回到最新动态
研究论文 / THE SIGNAL

预算受限下的LoRA适配器压缩方法

LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets

重要性 4.5 AI 辅助整理

论文提出FRA,在共享秩预算下压缩多个LoRA适配器。

资讯摘要

论文针对在共享资源预算下同时服务多个LoRA适配器的问题,提出将事后压缩视为两级分配:层内分配秩、适配器间分配秩。作者提出Functional Rank Allocation(FRA),通过端到端测量模块截断构建功能秩-失真前沿,再用动态规划与精确minimax分配。在三个公开适配器集合共78个适配器上,作者报告FRA在受限预算下优于均匀谱压缩的最差与尾部效用。

要点速读

  1. 论文将适配器集合压缩建模为层内与适配器间的两级秩分配问题。
  2. FRA以端到端截断测量构建功能前沿,结合动态规划与minimax分配。
  3. 作者报告在78个适配器上,受限预算下最差与尾部效用优于均匀谱压缩。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开