MoVoC-Tok 在多数吉兹文字语言上形态评分领先，但机器翻译结果已撤回。
资讯摘要
论文提出 MoVoC（Morpheme-aware Subword Vocabulary Construction）及 MoVoC-Tok 分词器，将监督式形态分析融入子词词表，混合词素与 BPE 词元以保留形态边界。作者发布四种吉兹文字语言的词素标注数据（169,806 条）及其中两种语言的词素感知词表。在留出词上，MoVoC-Tok 在四种语言中的三种取得最高 MorphScore，两种取得最高词素边界精确率，在未训练、跨语言应用的提格里尼亚语上增益最大。已发表版本中的机器翻译结果被撤回。
要点速读
- MoVoC-Tok 将监督形态分析整合进子词词表，混合词素与 BPE 词元。
- 作者发布四种吉兹文字语言的词素标注数据共 169,806 条，以及两种语言的词素感知词表。
- 在留出词评估中，MoVoC-Tok 在四种语言中的三种 MorphScore 最高、两种词素边界精确率最高；已发表版本的机器翻译结果被撤回。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。