预分词正则切碎天城文，合并扩展无法弥补，需改正则。
资讯摘要
论文指出 Llama-3、Qwen3 等开源模型使用的预分词正则只接受 Unicode 字母，而天城文元音符号属组合标记，导致尼泊尔语词被逐符号切分，token 消耗为同文本英文的 2.6 至 5.8 倍。作者提出对已部署正则的小改动，可保持不含组合标记文本的全部 token id，并称配合 32000 个新合并可将尼泊尔语降至英文的 1.01 倍。在 Llama-3.2-1B 与 Qwen3-0.6B 的小预算继续预训练中，原分词器在各项设置下取得最低留出尼泊尔语 bits per byte；生成阶段的延迟与质量权衡尚未测试。分词器与代码已发布。
要点速读
- Llama-3、Qwen3 的预分词正则只接受 Unicode 字母，天城文元音符号被切开，尼泊尔语 token 数为英文的 2.6 至 5.8 倍。
- 合并式词表扩展无法拼回被切开的片段：Llama-3 与 Qwen3 上新增合并无法把该倍率降到约 2.2 以下，已有十个扩展版本距此下限在 4% 以内。
- 作者对正则做小改动并加 32000 个新合并，称尼泊尔语降至英文的 1.01 倍，比标准扩展少约 54% 的尼泊尔语 token；继续预训练中原分词器 bits per byte 最低。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。