SWE-Prometheus：衡量真实代码仓库中的工程治理改进

基于大型语言模型的编码代理在代码仓库级软件工程任务上取得了长足进展。然而，现有的代码仓库基准通常从人工识别的问题出发，并评估补丁是否满足某种功能性信号。我们提出 SWE-Prometheus，这是一个面向更广泛代码仓库工程治理改进任务的基准。每项任务都提供一个固定快照和一个开放式目标，要求代理识别风险、确定干预措施的优先级，并验证由此产生的变更。SWE-Prometheus 通过配对证据、干净环境探测、行为门控，以及两位教师对同一证据的独立评分，从六个治理维度进行评估。该基准包含 60 个代码仓库；其中，十个模型在一个共用的 22 个代码仓库公开子集上接受评估，平均归一化治理改进（Normalized Governance Improvement）介于 0.0568 和 0.5760 之间，观测到的行为破坏率介于 0% 和 23% 之间。在一个冻结的十仓库批次上，一个对代码仓库不可见的模板取得了 0.272 的平均 NGI，但其收益集中在 Tests & CI、Quality Gates 和 Documentation 三个方面；它在任何代码仓库上都没有改善 Reproducible Environment 和 Dependency & Security。该基线使区分“添加治理工件”和“产生有执行依据的改进”成为可衡量的事情。无操作条件的 NGI 中位数为零，标准差为 0.073；对于同一份无操作证据，两位教师在 60 个维度评分中的 57 个上完全一致。对于两个条件均值最高的系统，其 common-valid NGI 相近；而包含行为失败在内的全池比较则更 favor Kimi-K3。这些结果表明，代码仓库治理评估应同时报告改进程度、行为保持情况、证据质量和覆盖范围。