TURTLE 用三个 LLM 智能体自动演化长程工具使用基准任务。
资讯摘要
论文提出 TURTLE，一种无监督环境设计（UED）方法，用提议者、求解者和反馈生成器三个大语言模型智能体演化现有工具使用任务，以降低对人工监督的依赖并提升可扩展性。作者报告，在 AppWorld、τ-Bench 和 AutomationBench 上使用 Gemma 4 31B-it 测试，演化后的任务更集中于目标难度区间（如 AppWorld 困难任务占比提升 165%），任务多样性增加，并暴露出更多失败模式。
要点速读
- TURTLE 由提议者、求解者与反馈生成器三个 LLM 智能体组成，提议者依据求解者的实际表现获得奖励，反馈生成器总结执行轨迹供其利用。
- 作者报告在 AppWorld 上困难任务占比提升 165%，任务在推理与并行工具交互方面更多样，失败模式范围更广。
- 实验覆盖 AppWorld、τ-Bench 与 AutomationBench，使用 Gemma 4 31B-it 模型。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。