论文用可解释性方法改进非拉丁语言的词表扩展与嵌入初始化。
资讯摘要
论文关注非拉丁文字语言在开放权重LLM中存在的token过度碎片化问题，研究词表扩展中的两个核心决策：添加哪些词项、如何初始化对应输入输出嵌入。作者质疑基于频率选择候选词项的传统做法，报告可解释性方法在性能与token效率间取得更优权衡；可解释性嵌入初始化在多种非拉丁文字语言上较基线提升约20个点。论文还提出“子词去分词”现象，并据此提出FragMend方法以提升可解释性扩展的效率上限。
要点速读
- 论文指出token过度碎片化在现代开放权重LLM中持续存在，非拉丁文字语言编码同样信息需多倍token。
- 作者报告可解释性嵌入初始化在多种非拉丁文字语言上较基线方法提升约20个点。
- 论文识别出模型跨层逐步合并碎片化子词token的“子词去分词”现象，并提出FragMend方法加以利用。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。