论文分析TSFM轴向注意力的统计性质

论文从理论上分析轴向注意力预测器的统计性质与收敛性。

资讯摘要

论文将Marion等人2025年提出的Single Location Regression框架扩展到二维结构化数据，用于研究目标仅依赖少量token的稀疏信息场景。作者构建可解析的轴向注意力型预测器，分析其统计性质与训练动态，证明在特定渐近条件和已知oracle参数下该预测器达到贝叶斯最优，而一类半线性简化严格无法做到，凸显内部非线性的作用；并证明特定温度缩放下投影梯度下降全局收敛到最优oracle参数，数值实验验证了理论并强调逆温度调度对经验收敛的关键作用。

要点速读

1. 将Single Location Regression框架扩展到二维结构化数据，研究稀疏信息场景下的轴向注意力
2. 证明在特定渐近条件与已知oracle参数下预测器达到贝叶斯最优，半线性简化则严格失败
3. 证明特定温度缩放下投影梯度下降全局收敛，数值实验强调逆温度调度的作用

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。