论文开放巴什基尔语语料与基准，QLoRA 在二分类上优于编码器微调。
资讯摘要
论文针对低资源黏着语巴什基尔语，发布开放资源套件与适配方法基准：巴什基尔网络语料（71,567 篇文档、4690 万 token、16 个来源）及三个标注分类数据集，基准覆盖二分类与多分类。实验比较八种架构（82M–8B）与全量微调、QLoRA、上下文学习及持续预训练（CPT）。作者报告 QLoRA 在 3.8–8B 模型上二分类优于编码器微调，CPT 效果因模型和任务而异，分词器 fertility 差异达 2.67 倍。
要点速读
- 发布巴什基尔网络语料（71,567 篇文档、46.9M token、16 个来源）和三个标注分类数据集，基准覆盖二分类与多分类。
- 实验覆盖八种架构（82M–8B）与全量微调、QLoRA、上下文学习三组适配方法，并加入持续预训练（CPT）。
- 作者报告 YandexGPT-5-Lite-8B 加 CPT 的二分类 macro-F1 为 0.748，高于 XLM-R 的 0.653 和 mBERT 的 0.650；CPT 对 Mistral-7B 困惑度反而变差（-1.15，p<0.001）。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。