量化后编码智能体准确率不变,但解题路径与失败模式明显改变。
资讯摘要
论文比较 BF16 与 4-bit AWQ、GPTQ 量化在 Qwen2.5-Coder-Instruct(7B、14B、32B)和 Devstral-Small-2507(24B)编码智能体上的表现,在 OJBench 上各跑三个随机种子。作者报告未发现统计显著的准确率下降,但行为变化明显:AWQ 使 Qwen-7B 一次成功解题从 17 降到 0,循环式解题从 10 升到 25;Qwen-32B 的成功均依赖工具调用,Devstral 则很少发出有效执行器调用。失败模式也随量化改变。
要点速读
- 论文在 OJBench 上以三个种子对比 BF16 与 4-bit AWQ、GPTQ,覆盖 Qwen2.5-Coder-Instruct 7B/14B/32B 和 Devstral-Small-2507。
- 作者报告最终准确率无统计显著损失,但 AWQ 下 Qwen-7B 一次成功解题由 17 降至 0、循环式解题由 10 升至 25。
- Qwen-32B 的成功均涉及工具使用,Devstral 很少有效调用执行器;量化后 Qwen-32B 编译错误略增,Devstral 失败从运行时错误转向错误答案与超时。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。