回到最新动态
研究论文 / THE SIGNAL

低资源语言机器翻译数据管线自动化与基线复现

Climbing the Ladder: Automating Data Pipelines and Reproducing Baselines in Low-Resource Settings

重要性 3.5 AI 辅助整理

论文复现西西里语翻译基线,预训练 NLLB 明显优于从零训练模型。

资讯摘要

论文针对西西里语低资源机器翻译,重建了从双语期刊 Arba Sicula 的 PDF 中抽取平行文本的流程,用语言无关句编码器对齐并按阈值过滤自动对齐错误,同时将分词与词尾偏置子词切分移植为不依赖 Perl 的实现,并在冻结测试集上评测。作者比较了从零训练的小型 Transformer 与经低秩微调的预训练 NLLB 模型,并复现原系统的反向训练配方。结果显示预训练模型明显更优,分阶段训练对译入西西里语的提升大于译出方向。

要点速读

  1. 重建从 Arba Sicula 双语期刊 PDF 抽取平行文本的管线,用语言无关句编码器对齐并过滤典型自动对齐错误。
  2. 将原系统的分词与词尾偏置子词切分移植为不依赖 Perl 的实现,结果在期刊冻结测试集上测量。
  3. 作者报告预训练 NLLB 经低秩微调远优于从零训练的小 Transformer;分阶段训练对译入西西里语提升更大,多语言适配器会削弱未训练方向。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/25 08:00:13(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开