孟加拉语开放模型在伊斯兰来源问题上普遍自信虚构。
资讯摘要
论文提出 BILAL-BENCH，一个含 240 道专家核验问题的孟加拉语开放式伊斯兰来源虚构基准，覆盖古兰经归属、圣训、教法、当代议题及对抗性虚假前提提示，并用双轴评分区分来源错误与断言强度。作者报告在 1,680 条双标注回答上评测 7 个 1B 至 120B 开放权重模型，其中 6 个在 79.3%–95.3% 的来源生成问题上自信虚构，规模增大未见单调改善；圣训出处最弱，315 条回答仅 2 条正确且来源正确。
要点速读
- 基准含 240 道专家核验问题，采用区分来源错误与断言强度的双轴评分。
- 7 个开放权重模型中 6 个在 79.3%–95.3% 的来源生成问题上自信虚构，且不随参数规模单调改善。
- 圣训出处类最弱：315 条回答中仅 2 条正确且来源正确；模型间在适当弃答或纠正虚假前提上差异大，与参数量无关。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。