论文用 VVC 视频编解码器压缩 LLM 权重,报告 2-bit 下效果提升。
资讯摘要
论文提出 LLMCodec,将仿射量化与 VVC/H.266 视频编解码器结合,用于大语言模型权重的压缩,无需微调或校准数据。作者还比较了多种视频编解码器与编码配置对压缩性能的影响。作者报告在 LLaMA-3-8B 的 2-bit 精度下,相比现有方法困惑度降低超过 1.5 倍,下游任务准确率提升 21%。
要点速读
- 论文将仿射量化与 VVC/H.266 视频编解码器结合,提出 LLMCodec 压缩方法。
- 作者比较多种视频编解码器与编码配置,评估其对压缩性能的影响。
- 作者报告在 LLaMA-3-8B 2-bit 精度下,困惑度降低超 1.5 倍,下游任务准确率提升 21%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。