论文用可执行评估器作为适应度信号引导工具智能体进化。
资讯摘要
论文提出 VeriEvolve,一种“评估器优先”的智能体进化框架:先从任务指令合成带指令约束的挑战状态与可执行评估器,再在每轮工作流进化中冻结评估器作为适应度信号,轮次之间用强弱运行终态构造反事实测试用例来修订评估器。作者报告在 30 个 MCPMark Filesystem 任务上构建 30 个评估器、141 个挑战状态,生成套件一致率为 141/141,留出状态一致率为 113/122;评估器引导的进化使 GLM-5.2 的外部验证成功数从 6/30 升至 18/30,Claude 从 27/30 升至 30/30,并消除了弱执行器暴露的 3 个误报。
要点速读
- 论文提出 VeriEvolve,先合成可执行评估器,再以其为冻结的适应度信号驱动智能体工作流进化。
- 在 30 个 MCPMark Filesystem 任务上构建 30 个评估器与 141 个挑战状态,生成套件一致率 141/141,留出状态一致率 113/122。
- 作者报告外部验证成功数 GLM-5.2 由 6/30 升至 18/30、Claude 由 27/30 升至 30/30;PostgreSQL、Playwright、Notion、GitHub 的跨环境研究显示可观测性、状态表示与搜索执行能力带来互补限制。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。