高等价准确率会高估模型对代码语义变更的推理能力。
资讯摘要
论文提出 SCRBench，包含 67,658 对 Python 程序，由保持或改变语义的代码变更序列生成，用于评估模型诊断语义变更、重建变更序列及检测语义等价三项任务。作者在 4,500 对分层子集上评测五个语言模型，发现等价检测准确率会高估模型的语义推理能力：某模型等价准确率 94.71%，但仅能诊断 54.44% 的语义变更；最佳模型仅对 39.27% 的程序对重建出精确变更序列，施加五次变更时无一模型超过 1.11%。
要点速读
- SCRBench 含 67,658 对 Python 程序，由保持或改变语义的代码变更序列生成，评测在 4,500 对分层子集上进行。
- 论文报告某模型等价检测准确率 94.71%，但语义变更诊断仅 54.44%。
- 最佳模型仅对 39.27% 的程序对重建出精确变更序列，五次变更时无模型超过 1.11%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。