Agentic Critical Training

arXiv:2603.08706v2 公告类型：replace-cross 摘要：模仿学习（IL）教会语言模型智能体复现专家动作，却无法教会它们区分专家动作与看似合理的错误。自我反思方法让模型接触备选方案，但仍使用监督微调（SFT）去模仿固定的推理过程和动作。我们提出 Agentic Critical Training（ACT），利用带可验证奖励的强化学习（RLVR）直接训练模型判断动作。在每个专家轨迹状态下，ACT 将一个专家动作与一个从初始策略中采样的备选动作配对，并随机化二者的顺序。模型生成自己的推理过程，但只有选择专家动作才能获得奖励。ACT 重用演示数据，不需要参考推理过程，并允许在不同模型规模之间复用动作对。ACT 可作为 IL 之前的预热阶段，也可以选择在其后接入 RL；推理时不需要比较候选项。在 ALFWorld-ID、WebShop 和 ScienceWorld 上使用 Qwen3-8B 和 Olmo-3-7B-Instruct 进行的实验表明，与 IL 相比，ACT 平均提升 5.85 分；与不使用 ACT 的 IL$\to$RL 相比，平均提升 4.12 分，同时还能改善 ALFWorld-OOD 上的表现。在 ScienceWorld 上使用 Olmo 时，完整流程相比 CoT 提示提升 15.36 分，相比不使用 ACT 的 IL$\to$RL 提升 9.23 分。ACT$\to$IL 和完整流程均优于监督式反思基线。采用固定动作对或匹配训练时长的对照实验表明，性能提升源于 ACT 目标，而不是额外数据或训练过程。无需针对推理进行专门的后训练时，独立的 ACT 检查点在 MATH-500 和 GPQA-Diamond 上取得了所评估模型中的最高平均分，表明动作比较能够补充生成能力。