论文提出开放知识评估范式并构建 BeQu 基准。
资讯摘要
论文提出“开放知识评估”范式，不再用预设问题，而是让模型在开放式提示下自行陈述所知，以刻画其自然表达的知识。作者据此构建 BeQu 基准，包含 1 万个实体及用于陈述核验的参考语料，并评测多种语言模型，分析推理投入、模型规模、提示格式与知识领域的影响。
要点速读
- 论文指出，现有知识基准依赖预设问题，只评估设计者选择查询的知识，存在可用性偏差。
- BeQu 含 1 万个实体及参考语料，用于核验模型在开放提示下陈述的内容。
- 作者报告评测了多种语言模型，并分析推理投入、模型规模、提示格式和知识领域的影响。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。