SciGame 用反事实环境评测智能体，精确恢复符号定律仍是瓶颈。
资讯摘要
论文提出 SciGame，一个受控基准，把科学文献转成结构化科学卡片，每张卡片生成原始与维度一致的反事实环境，任务接口相同。基准含经典定律的历史集与模型知识截止后论文的实时集，在候选引导识别和开放式发现两种设置下，按仅先验、固定、自适应三种协议评测智能体。作者报告五个前沿模型的实验得出三点发现：熟悉先验在规律被改动后反而拖累表现；自适应实验对最强模型有帮助，但在预算有限时损害较弱模型；好的解释可能掩盖定量失败。恢复精确符号形式仍是主要瓶颈。
要点速读
- SciGame 将文献转为科学卡片，每张卡片配一对原始与维度一致的反事实环境，任务接口相同。
- 基准包含经典定律的历史集和模型知识截止后论文的实时集，覆盖候选引导识别与开放式发现两种设置，各设仅先验、固定、自适应三种协议。
- 作者报告五个前沿模型的实验：先验在规律被改动后有害；自适应实验对强模型有益、对弱模型在有限预算下有害；解释好可能掩盖定量失败，恢复精确符号形式仍是主要瓶颈。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。