SWE Refactor Bench：编码智能体能完成长周期、全仓库的技术栈迁移吗？

现代软件系统在数十年的开发过程中积累了技术债，这使得迁移成本高昂且很大程度上依赖人工。随着编码智能体在错误修复方面能力日益增强，它们能否自主执行此类迁移？现有基准无法回答这个问题，因为它们只评估行为正确性，而不评估迁移是否真的发生。这导致了一种简单的取巧方式：智能体复制原始实现以让测试通过。我们称之为 Blindness。为解决这一问题，我们提出 SWE Refactor Bench，这是一个包含 20 个全仓库迁移任务的基准，覆盖 4 类技术债。一个三阶段评估协议同时衡量迁移完整性和行为正确性。(1) Migration Audit 验证迁移是否发生。(2) Behavioural Tests 使用固定测试套件衡量正确性。(3) Agentic Verification 使用 6 个独立编码智能体生成针对隐藏行为差异的定向测试。在来自 8 个前沿模型和 26 种模型-投入配置的 520 次运行中，只有 28 次（$5.4\%$）通过全部三个阶段，20 个任务中有 13 个没有获得任何被接受的解决方案，最佳模型（claude-opus-5）得分为 $47.0/100$。迁移完整性和行为正确性是不同的能力：少数运行通过跳过迁移来保持行为不变，并在 Migration Audit 阶段被拦截；大多数运行尝试迁移但破坏了行为，并在 Behavioural Tests 阶段被拦截。智能体无法交付完美迁移：在通过 Migration Audit 的 340 次运行中，$58\%$ 达到固定检查的 $99\%$，但只有 $26\%$ 达到 $100\%$。智能体能力在不同迁移类别之间存在差异：智能体在构建工具链重写上的得分为 $31.4$，但在语言重写上的得分仅为 $5.6$。综上，这些发现将 SWE Refactor Bench 定位为一个严谨的测试平台，用于开发能够可靠执行全仓库迁移的编码智能体。