专用开发的LLM助手未必优于基线，监管问答需系统评估。
资讯摘要
论文提出欧盟AI法案问答基准，包含110道专家编写的开放式问题，每题配有示例答案、针对性正确性标准和预期引用，评估答案正确性、引用质量、简洁性、语气与延迟，并设多轮“困难模式”测试模型对模拟用户质疑的回应。基于该基准的2026挑战赛测试了三个现成基线和五个专用助手，仅两个专用助手稳定优于基线，其中一个在所有指标上得分较高。
要点速读
- 基准含110道关于欧盟AI法案（Regulation (EU) 2024/1689）的开放式问题，附示例答案、正确性标准与预期引用。
- 评估维度包括答案正确性、引用质量、简洁性、语气和延迟，多轮“困难模式”模拟用户质疑。
- 挑战赛中五个专用助手仅两个稳定优于基线，一个在所有评估指标上得分较高；基准代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。