下一轮 rollout 之前：诊断策略更新导致的技能效用变化

技能演化方法通常分析执行轨迹，以指导智能体技能的改进。然而，策略更新可能改变未发生变化的技能所产生的行为效果及其边际效用。因此，基于早期轨迹的归因可能不再反映该技能在更新后策略下的贡献。此外，轨迹失败可能由多种因素共同造成，使得难以隔离单个技能的贡献。我们评估了策略更新信号是否包含关于技能边际效用变化的预测信息。在更新前训练 rollout 中固定的上下文下，我们衡量策略更新如何改变技能条件与控制条件之间的 token 偏好对比。将这些交互变化与优势估计相结合，可得到用于诊断效用变化的奖励导向读数。这些读数复用现有训练 rollout，仅需通过前向传播对单步动作进行评分，无需在更新后额外评估 rollout。实验表明，策略更新能够改变技能的边际效用，并且策略更新读数包含用于识别效用下降技能的诊断信息。将读数引导的优先级排序整合到技能演化中，可以提升下游性能，同时减少策略和编辑器的 token 消耗。