LASER：受支持集约束的熵正则化离线 RL 潜空间伴随匹配

arXiv:2610.08989v1 公告类型：new 摘要：尽管离线强化学习（RL）能够从静态数据集中进行策略优化，而无需代价高昂的在线交互，但执行分布外（OOD）动作的风险仍然是其瓶颈。近期方法通过流匹配学习行为克隆策略，然后在其受约束的潜空间内执行 RL，从而缓解这一问题。然而，直接优化潜策略很容易导致策略坍缩到脆弱模式，或利用学习到的评论家中的尖锐伪影。在本工作中，我们发现熵正则化对于潜空间 RL 应对这些挑战至关重要。我们提出 LASER，这是一种新型离线 RL 算法，通过应用潜空间伴随匹配，在采用表达能力强的流策略的同时，实现熵正则化潜空间 RL，并避免时间反向传播。通过在涵盖不同数据集质量的 40 个具有挑战性的 OGBench 任务上开展全面实验，我们表明 LASER 达到了当前最优性能。值得注意的是，LASER 在所有任务中均使用固定的、特定于方法的超参数，并且优于参与评估的基线方法，包括那些经过任务特定和数据集特定调优的方法，这凸显了 LASER 强大的适用性。项目网站：https://mit-realm.github.io/laser/。