PACE 用分段舍入与列对齐量化实现四比特循环状态。
资讯摘要
论文提出 PACE，一种事后四比特循环状态量化器。它每隔若干生成 token 才对线性注意力模型的循环状态做一次舍入，中间 token 暂存于小缓冲区，以减少状态误差累积；同时利用门控 delta 状态大值按列聚集的特点，在同一列内共享量化尺度，并将舍入误差持续最久的头保留为八比特。作者在四个 4B 至 35B 参数的混合模型上报告了与八比特 DAMP、Q-Mamba 的对比结果。
要点速读
- PACE 每隔几个生成 token 才舍入一次循环状态，中间 token 存入小缓冲区，以降低状态中累积的误差。
- 作者观察到门控 delta 状态的大值按列聚集，因此 PACE 在同一列内共享量化尺度，并把误差保留最久的头保持为八比特。
- 在四个 4B 至 35B 参数的混合模型上，作者报告混合四/八比特头的 PACE 在三个较大模型上与八比特 DAMP 相当，内存约为其三分之二；全四比特头的 PACE 在同等内存下得分高于 Q-Mamba。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。