冰岛语 ModernBERT 编码器：12M 至 1B 参数

1B 单语冰岛语编码器在十一项任务上均优于 IceBERT。

资讯摘要

论文以 ModernBERT 架构重新检验 IceBERT 的两项结论，用 9B token 开放数据训练 12M 至 1B 参数的冰岛语编码器，并在统一协议下对 30 个编码器重跑 IceBERT 基准及五项新任务。作者报告，从零训练的 1B 模型在全部十一项任务上显著优于 IceBERT；从同形状英语 Ettin 编码器热启动的版本在每项排名任务上得分最高。

要点速读

1. 用 9B token 开放数据训练 12M 至 1B 参数的冰岛语 ModernBERT 编码器，作者称 1B 从零训练模型为据其所知首个该规模单语冰岛语编码器。
2. 统一协议下重跑 IceBERT 基准和五项新任务，覆盖 30 个编码器并给出置信区间。
3. 替换词表后热启动从未显著差于同文本从零训练；base 以上规模在四项任务上不显著差于 4 倍文本从零训练（base 和 1B 为 8 倍）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。