回到最新动态
研究论文 / THE SIGNAL

量化对编码智能体的影响不止于准确率

Beyond Accuracy: How Quantization Affects Coding Agents

重要性 5.5 AI 辅助整理

量化后编码智能体准确率不变,但解题路径与失败模式明显改变。

资讯摘要

论文比较 BF16 与 4-bit AWQ、GPTQ 量化在 Qwen2.5-Coder-Instruct(7B、14B、32B)和 Devstral-Small-2507(24B)编码智能体上的表现,在 OJBench 上各跑三个随机种子。作者报告未发现统计显著的准确率下降,但行为变化明显:AWQ 使 Qwen-7B 一次成功解题从 17 降到 0,循环式解题从 10 升到 25;Qwen-32B 的成功均依赖工具调用,Devstral 则很少发出有效执行器调用。失败模式也随量化改变。

要点速读

  1. 论文在 OJBench 上以三个种子对比 BF16 与 4-bit AWQ、GPTQ,覆盖 Qwen2.5-Coder-Instruct 7B/14B/32B 和 Devstral-Small-2507。
  2. 作者报告最终准确率无统计显著损失,但 AWQ 下 Qwen-7B 一次成功解题由 17 降至 0、循环式解题由 10 升至 25。
  3. Qwen-32B 的成功均涉及工具使用,Devstral 很少有效调用执行器;量化后 Qwen-32B 编译错误略增,Devstral 失败从运行时错误转向错误答案与超时。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开