AdaptTok-Indic：面向印度语言的字形感知自适应分词

论文报告印度语言专用自适应分词可降低 token 碎片化。

资讯摘要

论文提出 AdaptTok-Indic，一种针对印度语言的自适应分词扩展，结合 Unicode 归一化预处理、显式处理印度语言连字、按字形路由，以及与小型 Transformer 语言模型联合训练的字节级边界预测。在孟加拉语和印地语上，其 token fertility 均值分别为 1.432 和 1.388，低于 SentencePiece BPE 的 2.156 和 2.085；下游评测平均分为 57.69，对比 50.82。作者说明当前仅为小规模原型，未做显著性检验。

要点速读

1. 论文在孟加拉语、印地语及古吉拉特语、泰米尔语、泰卢固语上评测，报告 token fertility 低于 SentencePiece BPE 和 MAGNET 风格基线。
2. 五个随机种子下，孟加拉语和印地语的平均 fertility 分别为 1.432 和 1.388，SentencePiece BPE 为 2.156 和 2.085。
3. 作者称当前实现为小规模原型，存在已记录的简化，未做统计显著性检验、未与已发布的 MAGNET 对比，也未评测语码混合场景。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。