现有对齐方法更擅长教模型何时拒答,而非用低资源语言流畅拒答。
资讯摘要
论文针对西非逾2亿人使用的豪萨语,构建了HausaSafeLM安全偏好数据集,含1万条源自PKU-SafeRLHF的提示,其中3000条人工校正、7000条机器翻译,覆盖六类危害。作者用Qwen2.5-7B-Instruct比较SFT与SFT+DPO,在500条有害和200条良性豪萨语提示上评测。结果显示,未调优基座模型仅凭拒答率看似安全,实为豪萨语生成能力不足;SFT提升拒答流畅度与精确度,DPO提高精确度但损害语言质量,无配置能同时兼顾安全、有用与流畅。
要点速读
- HausaSafeLM含1万条提示:3000条人工校正、7000条机器翻译,覆盖六类危害。
- 未调优基座模型拒答率虽高,但拒答质量普遍很低,反映生成能力有限而非真正对齐。
- SFT受益于更大更嘈杂的机器翻译数据;DPO提升拒答精确度,却带来明显且基本不随数据变化的语言质量损失。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。