CriticHack：在机器人策略优化下评估视觉奖励

arXiv:2610.02527v1 发布类型：cross 摘要：学习得到的视觉奖励模型正越来越多地用于优化机器人策略，但奖励模型可能会将作用于错误对象的执行评为与完成任务的执行同样高的分数。我们表明，优化此类奖励可能会放大这些作用于错误对象的失败，同时奖励和任务成功率都会上升，因此实践者通常会监控的信号看起来一切正常。我们在一个抽屉任务上，使用 Robometer 对扩散策略的去噪器全部参数进行微调。从一个此前未接触过奖励的监督策略开始，五次训练在512个评估随机种子上使任务成功率提高了10.2个百分点，同时使作用于错误对象的失败率提高了10.9个百分点；相比之下，使用模拟器任务完成信号训练的五次运行提高了成功率，却没有放大作用于错误对象的失败（差异为9.2个百分点，95%置信区间为5.6至13.0）。在以下情况下，这种放大现象仍会重复出现：从一个此前已针对学习奖励进行优化的策略出发；使用策略原生的扩散采样器；与初始策略保持匹配的距离；以及在采用两个评论器和两个优化器的受约束策略实验中。一个倾向模型解释了该现象何时发生：在KL正则化优化下，只要某种结果在初始策略下的期望奖励高于总体平均值，该结果出现的频率就会增加。总体而言，Robometer能够较好地区分成功与失败（AUROC为.81），但对作用于错误对象的失败给出的分数略高于成功（AUROC为.37），因此优化会同时提高二者。该模型还能预测26种受约束设置下的结果变化（Spearman相关系数为.89），包括任务成功率下降的设置；而 Robometer 自己发表的成功终止方案也继承了这一错误。冻结的结果验证器则会将同样的优化过程引导至所要求的任务。