通过价值加权最优传输学习多模态一步流策略

离线强化学习旨在仅从固定数据集中学习策略，而这些数据集通常包含多模态动作分布。流策略能够自然地表示此类多模态行为，但如何高效地学习一步流策略仍然具有挑战性：标准的价值引导通常会导致模式坍塌，或在分布外区域利用价值高估偏差。为此，我们提出了基于最优传输的一步流策略（OptiFlow），一种将一步流策略学习视为结构化样本分配问题的框架。OptiFlow 联合训练一个具有价值感知能力的参考流策略和一个高效的一步策略，并通过逐状态熵正则化最优传输将二者的动作样本耦合起来。对于每个状态，评论家估计的价值决定蒸馏目标动作的优先级，而动作距离代价则确保配对在几何上相容。通过避免直接最大化评论家价值，我们的传输引导方法以高价值且有数据集支持的模式为锚点，使一步策略能够在分布内进行利用，同时避免分布外发散的风险。实验结果表明，OptiFlow 能够有效捕捉最优多模态行为，并在多种离线强化学习基准测试中取得出色表现。我们的代码可在 https://github.com/Yonsei-DILLab/OptiFlow 获取。