语言模型能否边思考边学习？跨架构测试梯度适应

动态评估降损失但补不回长上下文检索准确率

资讯摘要

论文测试动态评估（让模型在阅读文本上做梯度更新）在不同架构上的表现。在最后四分之一块的MLP输出投影上每128个token做一步SGD、2k窗口下，softmax注意力模型（Qwen3-1.7B、Qwen3-4B、Gemma-4-E4B）文档内下一token损失降低5-8%，优于冻结模型使用完整32k上下文。混合Gated-DeltaNet模型（Qwen3.5-4B、Qwen3.8-27B）各学习率下增益不足1%，作者认为线性注意力块已自行完成适应。机制可迁移到掩码扩散模型，Nemotron-Diffusion-8B降8%、DiffusionGemma-26B降17-20%。但在RULER、BABILong、LongBench-v2等基准上，全文档更新权重未能恢复上下文截断损失的准确率，作者判断适应的是风格与词汇而非检索。

要点速读

1. softmax注意力模型每128 token一步SGD，文档内损失降5-8%，优于32k全上下文冻结模型
2. 混合Gated-DeltaNet模型增益不足1%，作者称线性注意力块已执行适应
3. 全文档权重更新在多项长上下文基准上未恢复截断损失的准确率，适应的是风格与词汇

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。