像素语言模型多语言预训练扩展研究

像素语言模型的多语言扩展收益呈局部性，容量可缓解多语言诅咒

资讯摘要

论文研究像素语言模型在多语言预训练规模扩大后的表现，沿语言数量、文字种类和固定单语言算力下的模型容量三个方向训练 MPIXEL 系列模型，并在覆盖 83 种语言的五项任务上评估。作者报告扩展效应是局部的：各方向提升新增语言与文字的表现，容量增大可缓解多语言诅咒；对未见文字的迁移随多语言预训练改善但不再随扩展提升；在类型学上距离较远的低资源语言上优于子词与字符级基线。

要点速读

1. 沿更多语言、更多文字、更大模型容量三轴训练 MPIXEL 系列，评估覆盖 83 种语言的五项任务
2. 扩展效应呈局部性：各轴改善新增语言和文字，容量增大缓解多语言预训练带来的多语言诅咒
3. 对未见文字的迁移随多语言预训练提升但不再随扩展改善；更大像素模型为视觉处理保留更多层，跨语言对齐随语言增多而减弱

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。