信任、不信任，还是反转：基于多专家反馈的鲁棒偏好强化学习

arXiv:2601.18751v2 发布类型：替换 摘要：基于偏好的强化学习（PBRL）通过学习成对的轨迹比较，为显式奖励工程提供了一种很有前景的替代方案。然而，现实世界中的偏好数据通常来自可靠性各异的异构标注者；其中有些准确，有些嘈杂，还有些具有系统性的对抗性。现有的 PBRL 方法要么平等对待所有反馈，要么试图过滤掉不可靠来源，但当面对系统性提供错误偏好的对抗性标注者时，这两种方法都会失效。我们提出 TriTrust-PBRL（TTP），这是一个统一框架，能够根据多专家偏好反馈联合学习共享奖励模型和专家特定的信任参数。其核心洞见是，在基于梯度的优化过程中，信任参数会自然地演化为正值（信任）、接近零（忽略）或负值（反转），从而使模型能够自动反转对抗性偏好并恢复有用信号，而不仅仅是丢弃受污染的反馈。我们给出了建立可辨识性保证的理论分析，以及详细的梯度分析，解释了训练过程中专家区分如何在没有显式监督的情况下自然产生。在实证方面，我们在涵盖操作任务（MetaWorld）和运动控制（DM Control）的四个多样化领域中，在各种污染场景下评估了 TTP。TTP 实现了当前最先进的鲁棒性：在对抗性污染下仍保持接近理想情形的性能，而标准 PBRL 方法则会灾难性失效。值得注意的是，TTP 能够从同时包含可靠标注者和对抗性标注者的混合专家池中成功学习，性能优于现有基线；与此同时，除了用于身份识别的索引之外，它不需要任何专家特征，并且能够与现有 PBRL 流程无缝集成。