新基准显示LLM在仓库级性能优化上远落后于专家实现。
资讯摘要
论文提出SWE-Opt，一个基于102个开源项目专家优化案例构建的仓库级基准，用参数化测试在噪声感知条件下评估运行时、峰值内存与时间加权内存使用（TWMU）。作者报告当前LLM表现不佳：运行时收益稀疏且不稳定，内存优化几乎不存在；迭代探索仓库的智能体设置能提升补丁正确性，但未转化为性能提升。专家实现在93.1%任务上改善运行时、70.6%任务上降低峰值内存，整体加速15.5倍、峰值内存降低171.3倍。
要点速读
- SWE-Opt由102个开源项目专家编写的优化案例构成，覆盖不同输入数据与执行条件。
- 评估显示LLM运行时收益稀疏且不一致，内存优化几乎不存在；智能体迭代探索提升补丁正确性但无性能增益。
- 专家实现在93.1%任务改善运行时、70.6%降低峰值内存，整体加速15.5倍、峰值内存降低171.3倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。