SWE-Clar：编码智能体能否澄清不完整需求并交付全新软件

新基准 SWE-Clar 显示编码智能体独立交付软件仍具挑战。

资讯摘要

论文提出 SWE-Clar 基准，用于评估编码智能体在自由职业场景下澄清不完整客户需求并完成软件开发的能力。该基准包含 100 个基于 Upwork 真实开发任务的任务，每项任务总付款至少 4000 美元；流程为智能体与客户智能体多轮交互后，分别进行代码实现与验收测试、需求理解评估，后者含 512 道配参考答的题目。作者报告九个前沿模型中实现得分最高的 GPT-6 Astra 任务通过率仅 67%。

要点速读

1. 基准含 100 个基于 Upwork 真实开发委托的任务，每项总付款不低于 4000 美元。
2. 澄清评估使用 512 道题及真实客户与自由职业者交互中的参考答案，覆盖明示需求与对话上下文推断需求。
3. 作者报告九个前沿模型中实现得分最高的 GPT-6 Astra 任务通过率仅 67%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。