arXiv cs.AI精选82

ExecCritic:学习测试,通过测试改进编码智能体

ExecCritic: Learn to Test, Test to Improve for Coding Agents

· 35天前

精选理由

深度 86 / 新颖度 85,来自 arXiv cs.AI。

AI 摘要

执行反馈可以引导编码智能体完成正确的代码库修复,但前提是测试能够捕捉问题所要求的行为。智能体生成的测试可能编码不完整或不正确的行为目标;当同一条轨迹同时编写补丁和测试时,它们的错误可能相互一致,从而产生虚假的信心。我们提出 ExecCritic,它将测试--验证--修订脚手架与用于在其中训练智能体的角色特定强化学习方案相结合。该脚手架将测试构建与源代码修复分离:Test agent 独立生成代码库原生测试,一个 fail-closed 测试框架对其进行合格性判定并冻结,Repair agent 则基于这些测试的执行反馈修改源代码而不更改测试。两个角色都使用 Qwen-3.5-35B-A3B 作为骨干模型,并分别进行训练。在 Learn to Test 中,Test agent 学习生成行为上有效、能够区分正确与错误补丁的测试。在 Test to Improve 中,Repair agent 学习直接解决任务以及基于反馈进行修订。在 SWE-bench Verified 上,测试质量决定反馈是否有帮助:在固定基础 Repair agent 的情况下,来自基础 Test agent 的测试会使解决率从无测试基线的 61.2% 降至 57.3%,而来自 GPT-5.6-sol 的测试则将其提升至 65.3%。角色特定的后训练将 Qwen Test agent 的 Base-to-Gold 成功率从 22.2% 提升至 62.2%;组合两个后训练的 Qwen agent 达到 72.6%,在评估时无需更强模型或 Oracle 反馈的情况下,比原始无测试基线提高了 11.4 个百分点。代码已公开发布于 https://github.com/MSR-Orchard/execcritic.

查看原文(arXiv cs.AI)