超越策略支持：面向自动驾驶的交互约束离线强化学习

arXiv:2610.09763v1 公告类型：新 摘要：离线强化学习能够利用固定数据集在无需在线探索的情况下实现以奖励为驱动的策略改进，因此在安全关键领域尤其具有吸引力。然而，一个核心挑战是分布偏移：策略优化可能偏好离线数据支持不足的动作，从而导致价值估计不可靠。现有方法主要控制策略自身动作空间中的这种偏移。但在自动驾驶等交互环境中，这种做法可能并不充分：候选自车轨迹在边际行为分布下可能仍得到充分支持，但与记录交互中观测到的周围智能体行为进行联合考察时，却可能支持不足。我们将这种交互支持度的退化称为“交互分布偏移”（interaction distribution shift，IDS），并提出 Interaction-Constrained Drive Policy（ICDP），一种能够显式控制交互层面分布偏移的离线强化学习框架。基于自车与周围智能体未来状态的联合数据分布，我们证明，联合支持度退化可以精确分解为自车支持度分量和残余交互支持度分量。我们通过对比式密度比估计恢复后者，在无需显式进行联合密度建模、周围智能体预测，或在反应式仿真器及学习型世界模型中进行策略优化期间的滚动推演的情况下，分离出交互兼容性。在 nuPlan、Interplan 上的闭环评估以及真实世界卡车实验表明，ICDP 能够抑制高价值但缺乏交互支持的轨迹选择，并提升交互关键型驾驶场景中的性能。项目网页：https://mahmoud-selim.github.io/ICDP/