SWE-Serve：生产推理服务中的智能体工程基准测试

我们推出 SWE-Serve，这是一个用于评估智能体执行生产推理工程任务能力的基准。实现一项推理功能可能需要协调服务栈中的多项变更，包括模型支持、运行时执行和公共 API。现有基准对生产推理工程的覆盖有限：仓库级软件工程基准并不针对推理任务，而通用终端智能体基准仅包含少量推理任务。与此同时，专门的推理基准主要侧重于孤立的内核生成或性能优化，而不是仓库规模的生产功能实现。SWE-Serve 提供了 53 项以代码仓库为基础的任务，这些任务源自 SGLang 的近期生产变更，涵盖六类推理工程。每项任务均在 CPU 或单个 GPU（H100）上执行，并通过隐藏的功能测试和回归测试进行评估；在适用情况下，还包括端到端（E2E）服务测试和经过校准的性能门槛。可执行的空操作和预言机控制、对抗性验证器审查，以及闭卷执行机制，共同支持任务有效性和评估完整性。在 11 个模型和 31 种模型工作量配置中，表现最佳的配置达到了 75% 的平均 pass@1。SWE-Serve 揭示了在本地完成任务与实现生产正确性之间存在显著差距。在具备端到端覆盖的 19 项任务中，模型服务 E2E 测试会拒绝约三分之一通过其他所有测试的补丁（在验证器评估下为 45.9%，而将 E2E 测试排除在评分之外时为 69.4%）；对于每个模型表现最佳的配置，随着配置性能提升，通过率也会提高。通过使生产正确性差距能够被直接度量，SWE-Serve 使该领域能够追踪未来的智能体是否能超越在本地完成任务，进一步实现生产正确性。