编码代理运行框架如何自我演化？一项关于回顾性调整的实证研究

编码代理可以根据早期任务中的经验，调整其运行框架，即用于运行代理的软件、配置和指令，但这些调整是否能改善代理在后续任务中的行为，仍不明确。我们研究了 \retro 这一技能：它要求代理复盘已完成的会话并提出运行框架变更；我们考察了它提出哪些变更，以及实施这些变更是否能减少后续任务中的重复工作。我们让 Claude Code 处理了 30 个 SWE-bench Verified 问题，对 \retro 提出的 125 项建议进行了定性编码，实施了其中 24 项，并在同一代码仓库的后续问题上，通过使用和不使用各项变更的新会话，对其中 12 项运行框架变更进行了评估。大多数建议都涉及会话中的某个事件，但在 43 项与 lint 相关的建议中，有 18 项无论实际发生了什么，都建议采取某种做法。在 7 项评估中，不使用变更的会话遇到了目标问题：有 2 项变更消除了目标操作，1 项减少了该操作的发生，4 项没有带来减少；此外，一些变更还在无关问题上增加了工作量。运行框架的自我演化不仅需要生成并实施变更，还需要建立方法来确认某项变更是否有助于后续任务，并修订或移除没有帮助的变更。