低比特 N-Gram 嵌入降低语言模型内存开销

低比特存储可大幅压缩 n-gram 嵌入表内存并基本保持性能

资讯摘要

论文研究将 n-gram 嵌入表以低精度存储，以降低其内存占用。作者在 nanochat、Llama 和 GPT-2 系列模型上从头训练，发现四比特表可节省约 75% 的表内存，同时保留超过 99% 的验证损失改善；比特数更低时性能下降更明显，但短时间微调可恢复相当一部分损失。作者还报告，将节省的内存用于扩大表规模，可在更低内存下超过全精度表的表现。

要点速读

1. 四比特 n-gram 嵌入表节省约 75% 表内存，保留超过 99% 的验证损失改善
2. 在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上节省 47–55% 表内存，困惑度上升低于 1.2%
3. 将节省的内存重新投入更大的表，可在更低内存下超过原始全精度表性能

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。