GRADUS：从环境的潜在课程中发现并恢复智能体经验

在受策略约束的工具环境中训练 LLM 智能体（例如包含预订、退款和取消政策的航空公司后端），需要设计能够分别及组合考验环境规则的任务。现有的合成流程允许模型提出任务，并仅保留其能够立即解决的任务，从而使训练数据偏向更简单的行为。我们提出 Gradus（Graded Rungs of Ascending Difficulty from an Underlying System），将任务应教授的内容与用于教学的具体任务和解决方案解耦。在没有种子任务的情况下，Gradus 将固定环境视为潜在课程，提取受条件约束的行为算子，用于刻画动作如何依赖当前条件，以及动作效果如何重塑后续决策。它将这些算子组合成难度不断提升的任务，同时利用语料库级反馈，针对缺失的结果组合进行探索。关键在于，Gradus 根据环境联合校准任务与解决方案：执行反馈会识别需要改进的是哪一方，同时保留预期的行为要求。因此，验证不再是终止式筛选，而成为一种恢复信号，将覆盖率引导的探索与困难样本的保留结合起来。基于现成的骨干模型，所得课程在配合 Opus 4.5 提议模型时，将 30B 模型在 $τ^2$-Bench 上的表现从 59% 提升至 89%，在 CAR-Bench 上从 47% 提升至 83%；配合开放权重的 Qwen3-235B 提议模型时，则分别提升至 76% 和 62%。这些结果表明，同时控制探索哪些行为，以及哪些行为能够进入经过验证的训练数据，具有重要价值。