新基准显示框架与模型的匹配度决定任务完成度。
资讯摘要
论文提出 kw-bench 基准，用真实业务委托构建任务，首个任务族为跨三代 SAP 系统的五年增值税重建，输入为原始系统导出数据，采用确定性评分而非 LLM 评判。作者用同一模型 DeepSeek v4.1 Flash 测试 Claude Code、Codex、OpenCode 和 micro-cc 四个框架，两小时限时内两个与模型无关的框架得分 0.542 和 0.528，两个实验室框架均为 0.00；换用 Claude Opus 5.5 后 micro-cc 与 Claude Code 分别得 0.9986 和 1.000。
要点速读
- kw-bench 首个任务族为跨 SAP ECC、部分迁移的 S/4HANA 及顾问重设计三代系统的五年增值税重建，输入为无文档的原始系统导出数据。
- 评分确定性、无 LLM 评判；同一模型 DeepSeek v4.1 Flash 下，OpenCode 得 0.542、micro-cc 得 0.528，Claude Code 与 Codex 均为 0.00。
- 作者报告在 Claude Opus 5.5 上 micro-cc 与 Claude Code 分别得 0.9986 和 1.000，用时 22 和 25 分钟。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。