Robo-Dopamine 2.0：用于机器人操作的历史条件化与 OOD 感知过程奖励建模

视觉-语言-动作（VLA）模型提升了机器人操作能力，但仍然容易受到累积误差、场景变化和偏离轨迹状态的影响。强化学习可以优化预训练的 VLA 策略，但稀疏的成功信号会阻碍探索，而人工设计的稠密奖励成本高且具有任务特异性。现有的学习式视觉奖励模型通常依赖静态的前后观察，导致时间歧义，并且在分布外（OOD）执行时，难以区分保持鲁棒性的变化与任务无效的失败。我们提出 Robo-Dopamine 2.0，这是一种具备历史感知和 OOD 感知能力的过程奖励模型，采用成对预测接口。它结合了：（1）历史条件化的成对奖励，在合成 OOD 查询中使用与来源对齐的参考面板，在在线查询中使用观测到的 rollout 历史，同时保留被查询的端点；以及（2）OOD 感知的有符号进展空间，用于表示有效进展、鲁棒性、失败和恢复。带有转换感知回放的 Signed-Hop Curriculum 先学习粗粒度的执行顺序，再进行细粒度的进展校准。我们还构建了一个 OOD 轨迹数据集和一个包含五类任务的基准。参考面板将平均视觉顺序一致性（VOC）从 0.967 提升到 0.986，并将 OOD 鲁棒 VOC 从 0.906 提升到 0.958。在相同的 400K 成对奖励预算下，带有 25% 回放的 Signed-Hop 训练达到 0.9872 的平均 VOC，而匹配样本池的随机打乱对照为 0.9858。在下游强化学习中，完整模型达到 86.8% 的平均 RoboTwin 成功率，并在真实世界插入任务中实现 71/80 次成功。