资讯摘要
论文提出PACE基准，用于评估编码智能体在成熟企业代码库中完成完整产品需求文档（PRD）的能力。该基准含43个企业任务和750个经专家审核的Code Points，覆盖11种模型与脚手架配置，多数得分在52.1至78.1之间，GPT-5.6-Sol完整交付率最高，为14.0%。作者报告主要瓶颈是未完整实现和缺少集成，评估与专家共识一致率为95.2%。
要点速读
- PACE包含43个企业任务和750个经专家审核的Code Points，结合需求重建、标准构建与基于证据的评估。
- 11种模型与脚手架配置中多数得分在52.1至78.1之间，GPT-5.6-Sol完整交付率最高，为14.0%。
- 作者报告未完整实现和缺少集成是主要瓶颈；评估与专家共识一致率为95.2%，同一模型和任务集下脚手架迭代将平均表现从59.4提升至63.0。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。