新基准 CrossSWE 显示编码智能体跨仓库协作仍具挑战。
资讯摘要
论文提出 CrossSWE 基准，用于评估编码智能体的跨仓库联合开发能力，包含 171 个真实实例，覆盖 165 个仓库、20 个技术领域和 13 种编程语言。该基准通过检验仅修改部分仓库是否不足以实现预期行为，来验证协同修改的必要性。作者报告对五个大模型的评测中，最强模型 GPT-6.1 Sol 的 Pass@1 仅为 58.48%，跨仓库不一致是最常见失败模式，占 44.2%。
要点速读
- CrossSWE 含 171 个真实实例，覆盖 165 个仓库、20 个技术领域、13 种编程语言。
- 基准通过检验部分仓库修改是否不足以实现预期行为，验证协同修改的必要性。
- 作者报告五个模型中 GPT-6.1 Sol 最强，Pass@1 为 58.48%；跨仓库不一致占失败模式 44.2%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26（北京时间）。