RACE：用于无轨迹展开机器人策略检查点选择的校准累积评分

在训练过程中评估所学习的机器人策略的部署性能具有挑战性，因为直接测量任务成功率需要对每个候选检查点进行成本高昂的真实世界试验。平均验证损失提供了一种无需轨迹展开的替代方案，但其检查点排名可能与部署性能不一致。我们分析了这一准则的两个局限：它在惩罚动作偏差时，没有考虑策略能否从偏差中恢复；即使较早的偏差可能导致执行过程偏离参考轨迹，它仍赋予后续参考预测相同的权重。我们提出了 RACE，这是一种新颖的无轨迹展开指标，利用一组固定的留出成功轨迹对检查点进行排名。RACE 根据状态条件阈值对动作偏差进行校准，这些阈值由这些轨迹中相似状态下的动作差异推导而来。我们通过累乘聚合这些分数，使较大的偏差降低后续参考预测的贡献。对所得累积分数在时间维度和不同轨迹之间取平均，即得到检查点评分。在仿真中，RACE 在不同验证数据来源下均优于基线方法，而多种基线方法在验证集发生变化时性能大幅下降。在真实机器人上，对于所评估的策略骨干网络和不同难度的任务，其排名均与部署成功率一致。扰动分析进一步表明，即使基线方法的响应相似，RACE 也能区分对任务成功率具有显著不同影响的偏差。