GMT：用记忆图替代Transformer前馈层

GMT以记忆图替代FFN，性能略逊但结构可解释。

资讯摘要

论文提出Graph Memory Transformer（GMT），尝试用可学习的记忆图替代解码器Transformer中的前馈网络子层，同时保留因果自注意力。基础v7版本在16个Transformer块中各设128个质心和128×128边矩阵，通过引力源路由与token条件目标选择返回门控位移。该模型有82.2M可训练参数，对比的稠密GPT基线为103.0M；验证损失与困惑度落后于基线，但零样本基准表现接近。

要点速读

1. GMT用质心记忆库和可学习有向转移矩阵替代FFN子层，因果自注意力保持不变。
2. 基础v7版本含16个块，每块128个质心与128×128边矩阵，模型共82.2M参数，稠密GPT基线为103.0M。
3. 验证损失/困惑度为3.5995/36.58，基线为3.2903/26.85；作者称零样本基准表现接近，未声称达到SOTA。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。