论文提出从IFC文件自动生成多选题的LLM智能体评测方法。
资讯摘要
论文提出IFC-MCQ，一种从IFC文件自动生成多选题基准的方法，用于评估大语言模型智能体在建筑信息交换标准IFC数据检索上的表现。其分类体系覆盖4组、15个类别和36个子类型，答案键取自文件本身，干扰项由文件派生值或预定义规则构造，从而支持精确的选项集评分。作者在不同规模的IFC模型上检验生成覆盖率，并评估了两种智能体配置，发现存在类别特定的失败模式，且性能会随源IFC模型和检索接口变化。
要点速读
- 论文提出IFC-MCQ，从IFC文件自动生成多选题，答案键来自文件，干扰项由文件派生值或预定义规则构造，支持精确选项集评分。
- 分类体系覆盖4组、15个类别、36个子类型，并在不同规模与建模特征的IFC模型上评估生成覆盖率。
- 作者在选定模型上评估两种智能体配置（基于工具与基于代码的检索），报告了类别特定失败模式，且性能随源IFC模型和检索接口变化。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。