扩词表大幅提升吉兹文分词效率，下游收益取决于任务与继续预训练。
资讯摘要
论文提出VEXMLM，在XLM-R基础上为阿姆哈拉语和提格里尼亚语训练语言专属SentencePiece分词器，新增3万吉兹文子词，并将新词嵌入初始化为预训练嵌入均值，再经继续掩码语言建模与下游微调。作者报告其分词粒度较XLM-R分别降低28.0%和45.9%，命名实体识别略有提升，抽取式问答低于XLM-R，情感分析相当。
要点速读
- VEXMLM为XLM-R扩展3万吉兹文子词，新嵌入以预训练嵌入均值为初值。
- 相对XLM-R，分词粒度在阿姆哈拉语和提格里尼亚语上分别降低28.0%和45.9%。
- 下游表现：命名实体识别略优于XLM-R，抽取式问答低于XLM-R，情感分析相当；提格里尼亚语NER消融显示仅扩词表会降低未登录词准确率，需继续预训练才能超过基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。