ContractRL：面向可审计工具调用修复的受防护组相对策略优化

arXiv:2610.00328v1 公告类型：cross 摘要：结构化工具调用通常只需少数字段违反模式或执行契约就会失败。重新生成完整对象会扩大动作空间，并使重复修复难以审计。我们提出 ContractRL，这是一种契约约束的序列修复协议，将验证器引导的 JSON 修复建模为有界决策过程。在每一步中，策略都会观察候选对象、类型化验证器反馈、JSON Pointer、不可变修复历史以及剩余预算；随后，基于契约的动作掩码会在确定性验证器执行状态转移之前，过滤格式错误或被禁止的 RFC-6902 操作。我们针对补丁、重试和弃权决策，规定了一种契约约束的组相对目标，同时在轨迹冻结之前，将规范目标和语义标签保留在在线状态之外。在验证器信息完全相同的条件下，ContractRL 在每个种子包含 192 个案例、共使用五个种子的评测中，以 34.4 个生成 token 达到 0.9362 的语义成功率；相比之下，Patch-SFT 的语义成功率为 0.9076、生成 44.9 个 token，而完整重新生成的语义成功率为 0.9148、生成 137.2 个 token。策略优化将语义成功率从监督式 ContractRL 的 0.9186 提升至 0.9375。针对 Patch-SFT 的独立三种子配对评测显示，语义差异为 +0.0396（95% 置信区间为 $[+0.0137,+0.0662]$，p=0.0039）。反馈、动作掩码、预算和模式偏移分析表明，这些提升与局部化纠错有关；对抗性评测和多轮评测则刻画了仍然存在的失败模式。