事后重标记足以实现到达-避障学习

arXiv:2505.19337v3 公告类型：替换 摘要：离线目标条件强化学习方法在到达-避障任务中展现出潜力，此类任务要求智能体在避开状态空间中不期望进入的区域的同时，到达目标状态。现有方法通常将避障区域信息编码到扩展状态空间和代价函数中，这使得评估时无法灵活、动态地指定新的避障区域信息。这些方法还高度依赖精心设计的奖励函数和代价函数，限制了其向新环境和新任务要求的迁移能力。我们提出 RADT，这是一种用于离线、无奖励、以目标和避障区域为条件的强化学习的决策 Transformer 方法。RADT 将目标和避障区域直接编码为提示词元，从而允许在评估时指定任意数量、任意大小的避障区域。仅使用随机策略生成的次优离线轨迹，RADT 就能通过我们新提出的避障区域事后重标记方法，以完全数据驱动的方式学习到达-避障行为，而无需奖励或代价监督。我们在涵盖 17 种任务、环境和实验设置的基准测试中，将 RADT 与现有离线目标条件强化学习模型进行了比较。RADT 能够以零样本方式泛化到分布外的避障区域大小和数量，并优于需要重新训练的基线方法。在其中一种零样本设置下，RADT 的归一化代价较表现最佳的重新训练基线改善了 35.7%，同时保持较高的目标到达成功率。我们还将 RADT 应用于生物学中的细胞重编程，展示了其广泛的适用性。