GoiBERT：两阶段知识蒸馏的紧凑越南语模型

GoiBERT 用两阶段蒸馏做出紧凑越南语编码器，免分词直接处理原文。

资讯摘要

论文提出 GoiBERT，包含 26M 与 49M 参数的两个紧凑越南语编码器，可直接处理原始文本，无需外部分词。模型采用两阶段知识蒸馏：先由同分词器的越南语编码器传授通用表示，再由更大教师模型通过软标签提供任务级指导。作者报告在八项基准上，GoiBERT-large 在非教师模型中平均分最高，参数量不到最强紧凑基线的一半，吞吐为其两倍；GoiBERT-base 以四分之一规模保留该基线 99% 性能。

要点速读

1. GoiBERT 含 26M 和 49M 参数两个版本，直接处理原始文本，不依赖外部分词。
2. 两阶段蒸馏：同分词器教师提供通用表示，更大教师以软标签提供任务级指导。
3. 作者报告 GoiBERT-large 在八项基准上平均分居非教师模型之首，吞吐为最强紧凑基线两倍；压缩在情感与分类任务上近乎无损，推理与实体识别仍有损失。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。