SkipCat 用共享投影与块跳过在同等压缩率下保留更高秩。
资讯摘要
论文提出 SkipCat 低秩压缩框架，用于在资源受限设备上部署大语言模型。方法包含层内共享低秩投影（同一输入的多个矩阵共用投影）与块跳过（省略低秩分解中部分子块的计算和内存传输），从而在相同压缩率下保留更高有效秩。作者报告，在无需额外微调的情况下，相同压缩率下零样本任务准确率较此前低秩压缩方法提升 7%。
要点速读
- 提出层内共享低秩投影，让共享同一输入的多个矩阵使用公共投影以减少冗余
- 提出块跳过技术，跳过低秩分解中选定子块的计算与内存传输
- 作者报告在相同压缩率、无额外微调条件下，零样本任务准确率比此前低秩压缩方法高 7%
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。