用测试时回归重新思考序列压缩

论文提出以测试时回归做序列压缩的 TTR-Compressor

资讯摘要

论文提出从测试时回归角度处理序列压缩：输入 token 构成回归问题，拟合系数即压缩表示；回归问题端到端学习，系数在前向中闭式求解，形成 TTR-Compressor。作者报告其在块稀疏注意力上大幅提升 RULER 表现，在视觉 token 合并中优于标准 MLP merger，并以少 55.6% 的视觉 token 达到相当性能。

要点速读

1. 论文将序列压缩视为测试时回归问题，压缩表示为回归拟合系数，回归问题端到端训练、系数前向闭式计算。
2. 在块稀疏注意力压缩中，作者报告 TTR-Compressor 的 RULER 表现大幅优于基于注意力的压缩器。
3. 在视觉 token 合并中，作者报告其持续优于标准 MLP merger，并以少 55.6% 的视觉 token 匹配其性能。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35（北京时间）。