Select-TTT 用查询相关性调节快权重写入强度，提升长上下文问答。
资讯摘要
论文指出，In-Place TTT 在真实网页长上下文问答中收益大幅消失，原因是其均匀写入调度让无关内容稀释了与查询相关的信息。作者提出 Select-TTT：一种与模型无关、以查询为条件的写入规则，利用冻结输出头读取每个文本块对查询词的概率质量作为相关性信号，经温度缩放 softmax 转为学习率乘子，不引入监督或新参数，并保留原有的分块上下文并行计算。作者报告在两个基准、两个骨干模型上均稳定提升长上下文问答表现。
要点速读
- 论文将 In-Place TTT 在真实网页长上下文问答中收益消失归因于均匀写入调度，无关内容稀释快权重记忆。
- Select-TTT 从模型冻结输出头读取文本块对查询词的概率质量作为相关性信号，无需监督和新参数。
- 作者报告在两个基准和两个骨干模型上长上下文问答均有一致提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。