新基准DecompGym评测LLM智能体实现分解算法,反思式重试更有效。
资讯摘要
论文提出DecompGym基准,含九个问题族共81个实例(五个Benders、四个列生成),要求智能体为指定方法编写求解器,并须满足60秒内执行、数值可行性与LLM评审方法审计、目标值在存储最优值1%以内三项标准。作者评测12个GPT、Claude和Gemini模型在编码智能体工具中的表现:首次尝试有两个模型解出全部实例,七个模型解出超90%;Benders失败多为缺失或次优解,列生成最常见失败为方法审计被拒。反思式重试成功率66%,独立重生成仅39%。
要点速读
- 基准含九个问题族81个实例,覆盖Benders分解与列生成,求解器需通过时限、方法审计与1%最优性三项检查。
- 首次尝试中两个模型解出全部实例,七个模型解出超90%;Benders失败62次中48次为缺失或次优解。
- 仅看输出检查会放过108次方法审计失败中的93次;反思式重试成功率66%,高于独立重生成的39%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。