ExLabel：自进化智能体评估SWE数据集质量

论文提出自进化智能体 ExLabel 评估 SWE 数据集质量。

资讯摘要

论文提出 ExLabel，一个基于大模型、自进化且由经验引导的助手，用于评估 SWE 风格数据集的任务清晰度与测试覆盖度。它维护不断演进的经验库，将跨实例知识提炼为判断标准并复用于新实例。作者构建了覆盖八种编程语言的 SWE-TQ 基准，实验称 ExLabel 在三个基座模型上均取得最佳 F1，并用其筛选数据微调的编码模型在 SWE-bench Verified 上解决 66.2% 的问题。

要点速读

1. 论文提出 ExLabel，用自进化经验库评估 SWE 数据集的任务清晰度与测试覆盖度。
2. 作者构建 SWE-TQ 基准，覆盖八种编程语言，数据来自 SWE-bench 与 Multi-SWE-bench 的人工标注清洗。
3. 作者报告 ExLabel 在三个基座模型上 F1 最佳，且用其筛选数据微调的模型在 SWE-bench Verified 上解决 66.2% 问题。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。