论文提出同时评估LLM出题与解题能力的动态基准Environment Duels。
资讯摘要
论文提出 Environment Duels，一个动态智能体基准，让模型在交互环境中同时扮演环境作者与解题者：作者需写出带特权提示的环境，使强解题者无提示时失败、有提示时通过。作者报告在九个前沿 LLM 上，解题与出题是两种不同能力，最强解题者并非最强作者，较小模型反而写出最难环境与最有用提示。论文还称对局结果可传递并形成稳定排名，并用 Qwen3.8-27B 的强化学习实验观察提示增益与迁移效果。
要点速读
- 论文提出 Environment Duels 动态基准，同时评估模型的出题（写环境加特权提示）与解题能力。
- 作者报告在九个前沿 LLM 上解题与出题是不同技能，最强解题者不是最强作者，较小模型写出最难环境与最有用提示。
- 论文称对局结果具有传递性并形成稳定排名，且用 Qwen3.8-27B 的强化学习实验显示提示增益与在留出推理及智能体基准上的提升相关。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。