InfraDev：编码智能体能否开发 AI 基础设施

新基准显示编码智能体开发 AI 基础设施仍困难，最佳仅解决 38.9% 任务。

资讯摘要

论文提出 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 PR 的任务，覆盖训练、推理与强化学习基础设施开发，要求智能体在多 GPU 上重实现跨多文件的真实改动。评测结合隐藏探针与接口说明提示，并设计共享执行环境，在 Megatron-LM 和 vLLM 上减少 52-57% 存储、13-14% 构建时间。六个前沿模型中最佳仅解决 38.9% 任务，探针拒绝 32% 通过全部官方测试的提交。

要点速读

1. 基准含 36 个来自 Megatron-LM、vLLM、verl 真实 PR 的任务，需跨多文件并在多 GPU 上正确运行。
2. 六个前沿模型中最佳解决率 38.9%；隐藏探针拒绝 32% 通过官方测试的提交，用原始 PR 描述作提示时无模型解决任务。
3. 作者报告将失败分析转化为智能体技能后，某前沿模型在 Megatron-LM 任务上的解决率提升 10.5%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。