回到最新动态
论文更新 / THE SIGNAL

LLMCodec:用视频编解码器压缩大模型权重

LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models

重要性 5.0 AI 辅助整理

论文用 VVC 视频编解码器压缩 LLM 权重,报告 2-bit 下效果提升。

资讯摘要

论文提出 LLMCodec,将仿射量化与 VVC/H.266 视频编解码器结合,用于大语言模型权重的压缩,无需微调或校准数据。作者还比较了多种视频编解码器与编码配置对压缩性能的影响。作者报告在 LLaMA-3-8B 的 2-bit 精度下,相比现有方法困惑度降低超过 1.5 倍,下游任务准确率提升 21%。

要点速读

  1. 论文将仿射量化与 VVC/H.266 视频编解码器结合,提出 LLMCodec 压缩方法。
  2. 作者比较多种视频编解码器与编码配置,评估其对压缩性能的影响。
  3. 作者报告在 LLaMA-3-8B 2-bit 精度下,困惑度降低超 1.5 倍,下游任务准确率提升 21%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开