子词变体训练可延缓重复数据下的过拟合

子词变体增强可延缓重复数据预训练中的过拟合

资讯摘要

论文提出一种保持语义不变的子词变体数据增强方法：用辅助因果编码器和块因果交叉注意力，让规范下一词预测以采样的子词变体为条件，不改变训练目标与 token 接口。作者报告，在数据受限的预训练中，重复暴露数据时该方法能持续延缓过拟合，并降低多个评测集上的留出下一词损失；多语言微调中效果取决于分词器质量，规范 token 压缩度高时增益最强，分词器已过度碎片化时增益减弱。

要点速读

1. 方法以非规范子词变体作为严格保持语义的数据增强，通过辅助因果编码器和块因果交叉注意力实现。
2. 数据受限预训练中，作者报告该方法在重复数据暴露下持续延缓过拟合，并降低留出下一词损失。
3. 多语言微调中增益取决于分词器质量：规范 token 高度压缩时最强，分词器已过度碎片化时减弱。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。