Mamba-2 状态压缩：平衡状态子空间方法

论文提出按写—读子空间压缩 Mamba-2 状态，困惑度损失低于 GHOST。

资讯摘要

论文分析训练后的 Mamba-2 循环状态，发现能量几乎呈秩一，但输出读取的内容位于与状态坐标不对齐的低维子空间，因此压缩应针对写—读子空间而非单个坐标。作者提出一种训练后变换，用完整可控性与可观性 Gramian 实现平衡截断，并借 Mamba-2 的标量恒等转移精确施加旋转；另提出 HARP 按 Hankel 谱逐层分配秩并保护检索敏感层。作者报告在 130M–2.7B 模型上状态维度减半时 WikiText-2 困惑度平均上升 0.3 点（1.8%），GHOST 为 1.6 点（9.3%）。

要点速读

1. 论文发现 Mamba-2 状态能量几乎秩一，但输出读取的低维子空间与状态坐标不对齐，逐坐标打分易漏掉决定输入—输出映射的方向。
2. 方法为训练后变换，用完整可控性与可观性 Gramian 做平衡截断，并通过 Mamba-2 的标量恒等转移精确施加旋转。
3. HARP 依据 Hankel 谱逐层分配秩并保护检索敏感层；作者报告状态维度减半时困惑度平均升 0.3 点（1.8%），GHOST 为 1.6 点（9.3%）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。