通过最优性与反事实正则化在无不安全数据的情况下学习未知约束

arXiv:2610.09350v1 公告类型：交叉收录 摘要：从示范中学习（LfD）为从局部最优且满足约束的专家行为中推断未知约束提供了一个框架。现有方法主要分为两类：受约束逆最优控制（CIOC）和逆约束强化学习（ICRL）。CIOC 利用 Karush--Kuhn--Tucker（KKT）条件等最优性条件，但通常假设动力学已知，且约束具有结构化表示。相比之下，ICRL 能够处理复杂的未知约束和未知的状态转移动力学，但往往需要大量在线探索，其间可能发生不安全的约束违反行为。在本文中，我们提出 Counterfactual KKT（CF-KKT），这是一种约束学习框架，利用学习得到的动力学和局部最优示范来恢复未知约束，无需已知动力学或额外的高风险探索，从而将 CIOC 在数据效率和安全性方面的优势与 ICRL 的灵活性相结合。首先，我们使用局部学习得到的可微动力学模型，直接对示范施加受 KKT 启发的最优性条件。其次，我们利用学习得到的动力学，在示范附近生成能够提高奖励的反事实行为，揭示在不存在未知约束时本应更优的行为，从而提供合成的不可行数据。当约束的参数化形式已知时，同一学习动力学框架能够直接基于 CIOC 恢复参数，我们还刻画了其对动力学模型设定误差的敏感性。在高维机器人控制任务中，与最先进的离线 ICRL 基线相比，我们的方法能够学习出安全性和数据效率更高的神经网络约束表示。