SATFormer：用上下文门控选择性复用早期值表示

SATFormer 用上下文门控选择性复用第一层 value 表示，多规模上优于静态残差基线。

资讯摘要

论文提出 Selective Access Transformer（SATFormer），在保留第一层 value 通路的同时，用依赖上下文的门控控制其访问，把早期表示复用视为检索问题。作者报告在 130M 至 1.3B 参数规模上，SATFormer 的验证损失和四档零样本平均准确率均优于静态 value residual 与 Transformer 基线，检索密集型基准上平均提升约 1.5 分，吞吐与内存接近基线。机制分析显示访问模式稀疏、随深度变化、按头区分且对类别敏感。

要点速读

1. SATFormer 保留第一层 value 通路，并以上下文相关门控控制访问，替代静态 value residual 的均匀混合。
2. 作者报告在 130M–1.3B 各规模上验证损失与零样本平均准确率均优于静态 value residual 和 Transformer 基线。
3. 检索密集型基准上较静态 value residual 平均提升约 1.5 分，吞吐和内存接近基线；代码已公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。