预训练语言模型可近似分解并发时序变量

论文发现并发时序变量在隐藏状态中可近似分解。

资讯摘要

论文研究语言模型如何在文档中同时维护多个独立演化的上下文变量，使用语言切换与话题切换计时器受控的文档，在十个预训练检查点上发现两个计时器均可从同一隐藏状态线性解码。移除某一计时器相关的质心平面会显著降低对该变量的访问，对并发计时器影响很小；这些特征在3至51个计时器取值及Qwen3 0.6B至14B检查点上持续存在。作者据此提出基于选择性可访问性的近似分解与重叠子空间中的近似可加联合状态几何。

要点速读

1. 两个独立计时器均可从同一隐藏状态线性解码，移除对应质心平面主要影响自身变量。
2. 质心平面非正交且含跨计时器信息，但各计时器贡献可解释联合状态质心的大部分可复现变化。
3. 调度位置影响续写概率，但测试的质心位移未产生一致的计时器特异性输出效应。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。