规范明确且测试充分？使用自演化智能体评估 SWE-bench 风格数据集

大型语言模型（LLM）在软件工程（SE）任务中展现出强大的性能，推动了对高质量数据集的需求，以实现可靠的训练与评估。SWE-bench 风格数据集（SWE 数据集）被广泛用于评估基于 LLM 的编码智能体处理现实世界软件问题的能力，其中任务清晰度和测试覆盖率直接影响实例是否可解决、可验证。然而，现有 SWE 数据集中仍存在质量问题，而人工标注成本高、工作量大，因此人们开始采用基于 LLM 的标注方法。现有方法通常依赖静态且过于通用的评判标准，这限制了其处理多样且细微场景的能力，并且往往导致较高的误报率。相比之下，人工标注员会借助积累的经验进行结合上下文的判断。受此启发，我们提出 ExLabel，这是一种基于 LLM、能够自我演化并由经验引导的助手，用于评估 SWE 数据集中的任务清晰度和测试覆盖率。ExLabel 维护一个不断演化的经验库，将跨实例知识提炼为稳定且自适应的判断标准，并复用相关经验来指导新实例的评估。为进行系统性评估，我们通过清理 SWE-bench 和 Multi-SWE-bench 中的人工标注，构建了新的基准 SWE-TQ，涵盖八种编程语言。使用三种骨干 LLM 的实验表明，在所有设置下，ExLabel 均取得了最佳 F1 值；在 Python/多语言子集上，相较于最佳基线，其任务清晰度评估的相对提升分别为 44.2%/49.9%，测试覆盖率评估的相对提升分别为 24.0%/18.4%。此外，在经过 ExLabel 筛选的 SWE-rebench 数据上微调的编码模型，在 SWE-bench Verified 上解决了 66.2% 的问题，相较于使用最佳基线筛选数据训练的模型高出 14.5%。