GateRQ 用门控值决定量化读取深度，压缩条件记忆表内存。
资讯摘要
论文针对 DeepSeek 的 Engram 等条件记忆层提出 GateRQ 量化方法。作者指出，低比特量化会先丢失长尾事实，而按访问频率分配更多比特反而比随机分配更差，原因在于每行检索结果的量化误差会被门控值加权，而门控值可由 1-bit 码算出。GateRQ 将每行存为 1-bit 残差码阶梯，只在门控排名靠前的查询上读取更深层。作者报告，在 DeepSeek-V4.1-Flash 上无需重训即可将 GPU 表内存减少 7.8 倍，vLLM 吞吐较 FP8 表提升 11%–31%。
要点速读
- 论文称从 DeepSeek-V4.1-Flash 移除条件记忆层会损失 36.8 个 PopQA 点。
- GateRQ 将每行存为 1-bit 残差码阶梯，第 1 层留在 GPU 内存用于计算门控，仅对门控排名高的查询读取更深层。
- 作者报告 GPU 表内存减少 7.8 倍、vLLM 吞吐提升 11%–31%，每次查询读取 1.50 bits 时约损失 1 个 PopQA 点，2.10 bits 时损失 0.2 点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。