LangMAP：语言自适应分词方法

LangMAP 改善分词边界，但多数下游微调性能无显著变化。

资讯摘要

论文提出 LangMAP 分词方法，将 UnigramLM 算法扩展到多语言场景，用每种语言各自的词表分布替代单一分布。它既可从零训练多语言模型，也可在不改变词表的前提下适配预训练模型的分词器；训练时需语言标签，推理时自动选择跨语言概率最高的切分。作者报告，适配后的切分在形态边界召回和代码 AST 叶节点对齐上均有提升，但多数语言-任务组合的微调性能无显著差异。

要点速读

1. LangMAP 将 UnigramLM 的单一词表分布改为每种语言一个分布，训练需语言标签，推理不需。
2. 适配预训练分词器后，新切分的形态边界召回率持续高于原分词器，代码数据中与 AST 叶节点边界的对齐在所有尝试配置下均有改善。
3. 在语言模型微调实验中，大多数语言-任务组合的性能未观察到显著差异。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。