超越判定：借助可验证反馈进行智能体式代码评测

大型语言模型（LLM）的测试时扩展可以包括生成多个候选解以供选择，或修改先前的尝试。为了指导选择和修改，我们需要一个能够估计候选解正确性并提供失败证据的验证器。然而，在竞赛编程中，官方评测系统会在有限的提交次数限制下给出权威判定，却不会透露失败原因或导致失败的输入。为了在不消耗官方提交次数的情况下提供有信息量的反馈，我们提出了一项任务：模型仅使用题目描述和源代码，对候选程序进行判定和诊断，并将生成的反例作为可检查的证据。为评估这项任务，我们基于 USACO 2026 竞赛构建了 USACO-JUDGE，使用由人类专家和多个 LLM 编写的通过与未通过评测的程序。随后，我们在通用执行沙箱中通过强化学习训练了 ARBITER，这是一个拥有 35B 参数的混合专家（MoE）智能体式验证器。训练使其在错误程序上的反例成功率从 40.61% 提升至 62.67%，并使其在 USACO-JUDGE 上的二元判定平均准确率从 71.41% 提升至 87.41%，接近前沿验证性能。除验证之外，ARBITER 在代码选择和代码改进方面也都优于基线方法。在一项 IOI 2026 案例研究中，在官方提交次数限制下，由 ARBITER 指导的代码改进使 GPT-OSS-120B 的预期得分超过了金牌分数线。