RACE：用于无需轨迹展开的机器人策略检查点选择的校准累积评分

arXiv:2611.05838v1 公告类型：交叉收录 摘要：在训练期间评估学习得到的机器人策略的部署性能具有挑战性，因为直接衡量任务成功率需要对每个候选检查点进行成本高昂的真实世界试验。平均验证损失提供了一种无需轨迹展开的替代方案，但其给出的检查点排名可能与部署性能不一致。我们分析了这一准则的两个局限：它在惩罚动作偏差时不考虑策略能否从中恢复；即使早期偏差可能导致执行过程偏离参考轨迹，它仍赋予后续参考预测相同的权重。我们提出 RACE，一种新颖的无需轨迹展开的指标，利用一组固定的留出成功轨迹对检查点进行排名。RACE 根据这些轨迹中相似状态下的动作差异推导出以状态为条件的阈值，并据此校准动作偏差。我们通过逐步累乘聚合这些分数，使较大的偏差降低后续参考预测的贡献。对所得累积分数在时间维度和不同轨迹间取平均，即得到检查点分数。在仿真中，RACE 在不同验证数据来源下均优于基线方法，而若干基线方法在验证集变化时性能显著下降。在真实机器人上，对于所评估的不同策略骨干架构和不同难度的任务，其排名与部署成功率一致。扰动分析进一步表明，即使基线方法给出相似的响应，RACE 也能区分对任务成功率影响显著不同的偏差。