论文报告 Transformer 能学到超出词频分布的算术序列规律。
资讯摘要
论文研究 Transformer 能否学习由自然数迭代质因数分解生成的确定性树序列。作者将每个整数映射为有根平面树，用 GPT-2 架构从零训练于前 10¹¹ 个元素，并以隐马尔可夫模型为基线，对上下文窗口、数据规模、词表与模型规模做缩放分析。作者报告词准确率约 0.4，且在远超训练区间的 10¹³–10¹⁵ 测试块上保持稳定。
要点速读
- 论文将自然数经迭代质因数分解映射为有根平面树，构成可度量统计结构的算术文本。
- GPT-2 架构从零训练于前 10¹¹ 个元素，评估下一词预测与掩码词预测，基线为隐马尔可夫模型。
- 作者报告词准确率约 0.4，并在 10¹³–10¹⁵ 测试块上保持稳定；模型似然可区分保持词频但打乱顺序的对照序列，且随上下文扩大分离度。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。