使用目标条件双模拟学习可迁移技能

arXiv:2610.00676v1 公告类型：新 摘要：无监督技能发现已成为一种有前景的方法，可利用无奖励数据集对通用策略进行预训练。然而，现有的技能发现方法要么需要访问专家数据，要么泛化能力有限，无法有效迁移到此前未见过的布局。一个关键挑战是学习能够捕捉环境时间结构、同时对不同布局之间的变化保持鲁棒性的表示。为解决这一问题，我们提出了一种学习动作感知时间表示的目标，使其满足函数等变性，同时保留环境的局部时间结构。在此嵌入的基础上，我们进一步提出了使用双模拟的无监督技能发现方法：该方法仅根据直接影响技能执行的那部分状态特征来决定技能的行为，从而学习可迁移的技能。这促使技能在不同布局之间表现出不变的行为，使其能够有效迁移到其他配置。最后，通过全面的实证评估，我们表明，在给定环境中学习的技能可以有效应用于解决各种环境布局中的下游任务，展现出强大的分布外泛化能力。