新基准显示 LLM 生成代码效率平均仅达人类约 62%
资讯摘要
论文提出 EffiBench-X，称其为首个衡量 LLM 生成代码效率的多语言基准，覆盖 Python、C++、Java、JavaScript、Ruby 和 Golang，以竞赛编程任务及人类专家解法作为效率基线。作者报告，模型虽能生成功能正确的代码，但效率普遍低于人类专家；效率最高的 Qwen3-32B 平均仅达人类约 62%，且存在明显语言差异，Python、Ruby、JavaScript 优于 Java、C++、Golang。
要点速读
- EffiBench-X 支持 Python、C++、Java、JavaScript、Ruby、Golang 六种语言，以人类专家解法为效率基线。
- 作者报告效率最高的 Qwen3-32B 平均仅达人类效率约 62%。
- 模型在 Python、Ruby、JavaScript 上的效率高于 Java、C++、Golang，例如 DeepSeek-R1 的 Python 代码效率明显高于其 Java 代码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。