可扩展的多任务逆强化学习

arXiv:2610.00758v1 公告类型：新 摘要：通过学习可迁移的奖励，逆强化学习（IRL）能够在环境发生改变时对智能体进行反事实评估。这种迁移对覆盖性提出了严格要求，因为目标环境会影响智能体的状态占用分布。我们提出了一种多任务 IRL 方法，在低秩假设下，汇集同一环境中具有不同奖励的多个智能体的数据。该方法不仅缓解了覆盖性要求，使得只要其他任务访问过某个状态，每个任务就不必访问所有状态；还能够在新环境下对多个任务进行可扩展评估，因为计算密集型的规划过程的规模取决于秩，而非任务数量。我们为奖励恢复以及新环境中的策略学习提供了有限样本保证。实验表明，我们的方法能够适应有限覆盖，在每个任务支持集内外恢复奖励，并以低于基线方法的遗憾迁移到目标环境；随着任务数量增加，其相对于逐任务方法的计算优势也不断扩大。