论文称增加训练长度可比增加样本数指数级更高效。
资讯摘要
论文针对固定精度Transformer，联合分析分布内统计泛化与长度泛化两条轴，给出以模型参数量、量化空间和序列字母表大小为变量的泛化保证，并展示样本数与训练长度需求之间的权衡：增加训练长度可比增加样本数指数级更高效。作者称实验支持理论预测。
要点速读
- 论文对固定精度Transformer同时处理分布内统计泛化和长度泛化，此前二者多被分开研究。
- 泛化保证以模型参数量、量化空间和字母表大小为变量给出。
- 作者报告增加训练长度可比增加样本数指数级更高效，实验支持理论预测。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。