回到最新动态
研究论文 / THE SIGNAL

从档案文献中大规模抽取低资源语言双语文本

Mobilizing the Archive: Bitext Extraction at Scale from Archival Documents for Extremely Low-resource Languages

重要性 5.5 AI 辅助整理

论文用OCR加视觉语言模型从语言学档案中抽取双语语料

资讯摘要

论文提出从语言学档案(语法书、词典等文献)中抽取翻译例句,为缺乏网络资源的语言构建平行语料。作者搭建结合OCR模型与视觉语言模型的流水线,使识别内容与版面视觉信息对齐。在20种语言上,抽取的双语文本被用于训练机器翻译模型及大模型上下文学习;作者报告上下文学习相比零样本翻译,在低资源和高资源目标语言上分别提升+15.78和+6.94 chrF2++。

要点速读

  1. 论文提出从语法书、词典等语言学档案中抽取双语文本,覆盖网络资源匮乏的语言
  2. 流水线结合OCR模型与视觉语言模型,使识别内容与版面视觉信息对齐
  3. 在20种语言上验证抽取语料可用于训练MT模型和大模型上下文学习,作者报告chrF2++提升+15.78与+6.94

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开