560M 塔吉克语嵌入模型在法律税务检索上大幅超过基线。
资讯摘要
论文提出 Saidzoda-Tajik-E5-Large，基于 multilingual-e5-large-instruct（560M 参数）构建塔吉克语文本嵌入模型。作者用自研塔吉克语模型为法律、税务、维基百科和网页文本生成问题，构造 235,140 个问答对训练一个 epoch，并用另一嵌入模型挑选难负样本、混入英俄语对。在未见法律文档上 top-10 命中率从 80.2% 升至 93.6%，税务文档从 82.6% 升至 94.5%；人工撰写的 Belebele 上提升较小且不确认。
要点速读
- 基于 multilingual-e5-large-instruct（560M）微调，训练数据为自研语言模型生成的 235,140 个塔吉克语问答对，训练一个 epoch。
- 未见法律文档 top-10 命中率 93.6%（基线 80.2%），税务文档 94.5%（基线 82.6%）；Belebele 上 92.2% 到 95.2%，区间重叠、提升未确认。
- 同风格法律税务问题上与五倍规模的 Giga-Embeddings-3B 持平；bfloat16 训练导致模型失效，用相似俄文字母替换塔吉克字母无帮助。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。