MirrorCraft：Minecraft 隐藏规则变更下的配对评测

新基准用配对世界检验智能体能否应对隐藏的 Minecraft 规则变更。

资讯摘要

论文提出 MirrorCraft，一个在 Minecraft 隐藏规则变更下评测 LLM 智能体的配对基准。每个 Mirror 世界复制对应的 Vanilla 世界，仅通过数据包静默修改部分服务端规则，地形、出生点、资源分布、任务、接口与动作预算保持一致。基准含 10 个 Vanilla 世界、6 套规则与 3 个进程任务，作者在 8,640 个回合中评测两种 LLM 与六种智能体配置，并以 Rule Intervention Effect 衡量配对世界间的表现差异。

要点速读

1. MirrorCraft 由 10 个 Vanilla 世界（覆盖五个受控生物群系）、6 套规则和 3 个进程任务组成，Vanilla 与 Mirror 配对世界除规则外保持一致。
2. 作者在共享 Mineflayer 接口下评测两种 LLM 和六种智能体配置，共 8,640 个回合，用服务器验证的进度里程碑与成功率衡量表现。
3. 作者报告隐藏规则变更在不同规则套件间影响差异明显；未提供规则说明时 ReAct、Reflexion、Voyager 的汇总 Mirror Score 最高，但 ReAct 在资源掉落被压缩时损失最大；向 ReAct 提供确切规则仅带来平均进度与完成度的有限提升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。