DeepMem：多尺度字节级语言模型

DeepMem 以多尺度压缩降低字节级模型推理成本。

资讯摘要

论文提出 DeepMem，一种因果多尺度架构，将语义压缩与字节精确保留分离：用可逆子带变换构建更短序列层级，以无损载体和细节边带保留字节身份，并在压缩瓶颈处迭代计算共享状态。作者报告其在 FineWeb-Edu 与 PG19 上优于同等字节级 Transformer，在 FLORES 语言上取得最佳宏平均表现，PIQA 准确率提升，代码建模与抗字节损坏能力保持竞争力。

要点速读

1. 论文提出 DeepMem，用可逆子带变换构建短序列层级，并以无损载体和显式细节边带保留字节身份。
2. 作者报告在 FineWeb-Edu 和 PG19 上语言建模表现强于匹配的字节级 Transformer，并在 FLORES 评测语言上取得最佳宏平均表现。
3. 作者称瓶颈细化所需计数 FLOPs 比等效全分辨率推理少约 7600 倍，同时保持有竞争力的评测吞吐。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。