新基准 DiG-bench 用 70 个规则未知的游戏评测 AI 的实验发现能力。
资讯摘要
论文提出 DiG-bench（Discovery in Games）基准，用于评测 AI 在目标未知的受控环境中通过实验发现新知识的能力。该基准包含 70 个独立游戏，每个游戏以短字符串编码，并具有需通过交互与实验才能发现的独特变换规则；关卡胜负条件同样未知。游戏分七个难度层级，最低层多个模型可常规解出，最高层挑战当前最佳模型；全部 70 个游戏均被至少一名人类首次尝试解出。公开 21 个游戏，其余私有用于安全评测。
要点速读
- DiG-bench 含 70 个独立游戏，规则与关卡胜利条件均需通过交互实验发现。
- 游戏分七个难度层级，最高层挑战最佳模型，最低层多个模型可常规解出。
- 公开 21 个游戏，其余 49 个私有保留用于安全评测；全部游戏均被至少一名人类首次尝试解出。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。