论文称部分参数CPT配合精选语料可高效适配现代标准阿拉伯语。
资讯摘要
论文提出AQL-Lite，一个将多语言LLM适配到现代标准阿拉伯语（MSA）的持续预训练框架，结合质量优先的数据清洗流程与部分参数CPT方案：训练RS-LoRA适配器、最后八个Transformer块及嵌入矩阵，并采用分层学习率。作者报告，在相同1B token预算下，AQL数据较原始网页文本使四项基准阿拉伯语均值提升3.51分；在5B token对比中，以52%的实际耗时达到全参数CPT增益的94%。
要点速读
- 数据流程包含结构清洗、启发式与模型过滤、MSA筛选和去重
- 5B token对比中AQL-Lite均值为73.19，全参数CPT为73.58，耗时为其52%
- 扩展至40B MSA token并在一百万条示例上指令微调后，12B模型在OALL v2七项基准套件上得75.3分
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。