回到最新动态
交叉发布 / THE SIGNAL

编码智能体还需调试器吗?前沿模型故障定位接近准确率上限

Do Coding Agents Still Need a Debugger? Frontier-Model-Based Fault Localization at the Accuracy Ceiling

重要性 5.5 AI 辅助整理

短小明确程序上,编码智能体仅凭源码即可定位几乎所有故障。

资讯摘要

论文在144个LeetCodeDataset解法中注入610个单行故障,并用五种保持行为的变换重写程序,考察基于Sol 6.1、Luna 6和Qwen 3.8的编码智能体在无工具、可选调试器、鼓励使用调试器三种条件下的故障定位表现。作者报告,无工具时原始程序定位准确率为98.2%至99.9%,变换后为96.7%至99.9%;鼓励使用调试器可消除Luna 6和Qwen 3.8剩余变换错误中的63%和61%,但token消耗为14.7至27.0倍。

要点速读

  1. 无工具时,智能体在原始程序上定位98.2%至99.9%的故障,在变换程序上为96.7%至99.9%,准确率损失主要出现在循环与条件被重构的变换中。
  2. 鼓励使用调试器使Luna 6和Qwen 3.8的剩余变换错误分别减少63%和61%(+2.1和+1.3个百分点),token用量为14.7至27.0倍;Sol 6.1保持99.9%。
  3. 调试器可选时,Luna 6和Qwen 3.8仍分别提升1.5和1.3个百分点,但仅在0.2%至6.2%的运行中使用交互式调试器,更多是直接执行程序而非单步调试。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开