新基准用真实加拿大法律查询评测RAG，揭示检索与幻觉问题。
资讯摘要
论文提出 CanLegalRAGBench，一个基于真实查询与专家标注答案的加拿大法律问答基准，用于评测法律 RAG 系统。作者报告检索性能对设计选择敏感，开源嵌入模型与闭源模型表现相当；自动评测会因系统检索到其他相关文档而误判。生成答案常偏离标准答案，8%–29% 的陈述缺乏检索文档支持。
要点速读
- 基准基于真实法律查询和专家标注、以判例法为依据的答案，弥补加拿大法律评测不足。
- 作者报告检索性能对设计选择敏感，开源嵌入模型与闭源模型具竞争力。
- 自动评测会惩罚检索到其他相关文档的系统；生成答案中 8%–29% 的陈述无检索文档支持。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。