ARISE-RL：基于代理式评分细则的迭代自进化与强化学习

通过强化学习（RL）训练开放式智能体，受制于缺乏可验证的金标准答案和可扩展的评分细则。此外，即便接近模型能力边界，长时程的开放式代理任务也常产生脆弱且不稳定的奖励，导致弱或噪声化的 rollout 对比，掩盖了基于组的策略学习所需的细粒度优化信号。为应对这些挑战，我们提出 ARISE-RL，一种新颖的全周期自进化框架，通过评分细则介导的协同进化，将任务/评分细则生成器与推理求解器耦合起来。生成器将与工具相关的评分细则标准锚定在真实工具观测之上，并因生成与求解器不断演化的能力边界相一致的有效、中等难度任务而获得奖励。求解器则通过多步推理和工具使用，从细粒度的评分细则满足信号中学习。我们进一步引入 Reward-Gated Self-Evolution Distillation（RG-SED），仅当记忆带来经验性奖励提升时，才将同一策略的带记忆变体选择性蒸馏回自身，从而减少分布不匹配并避免盲目模仿噪声指导。最后，为支持严格评估，我们提出 ECR-Bench，一个专家校准的评分细则基准套件，涵盖单工具深度研究和多工具旅行规划。大量实验表明，ARISE-RL 在所有评估基准上始终取得稳健且稳定的整体最先进性能。