论文称3万条回答中无一精确匹配圣训原文。
资讯摘要
论文提出一个英阿双语基准，测试五个开放权重本地可部署模型（Mistral-7B、Gemma3-4B、Jais-7B、ALLaM-7B、Phi4-mini-3.8B）对六部逊尼派圣训集的精确复述能力。每部采样500条，每模型每语言3000条，共3万条回答，仅给书目编号、不做检索增强，按BLEU与多语余弦相似度评分并单列拒答。作者报告3万条中0%同时达到高词汇与高语义保真，阿拉伯语表现普遍更差。
要点速读
- 基准覆盖六部正典圣训集，每集500条，每模型每语言3000条，共3万条回答。
- 评分采用词汇保真（BLEU）与语义保真（多语余弦相似度），拒答单独标记。
- 作者报告0%回答同时达到高词汇与高语义保真，阿拉伯语回答普遍差于英语。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。