论文提出按长度与类型自适应调整频率阈值的 AdaBPE 分词方法。
资讯摘要
论文提出 AdaBPE 分词方法，针对 BPE 将空白视为固定语义边界、难以覆盖多词表达与 LaTeX 等结构化符号的问题，采用自适应频繁模式挖掘，按候选 token 长度和类型动态调整最小频率阈值，从而把词表容量分配给 LaTeX 等领域符号。作者在五个涵盖 LaTeX 与自然语言的数据集上评估，报告编码效率与领域内容的下游语言模型表现均有提升，且未损害通用语言性能。
要点速读
- AdaBPE 依据候选 token 的长度与类型动态调整最小频率阈值，避免偏向高频短模式。
- 方法以 LaTeX 为案例，区分通用语言与形式语言模式，为领域符号分配词表容量。
- 作者在五个 LaTeX 与自然语言数据集上报告编码效率及领域下游表现提升，通用语言性能未受损。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。