超越策略支持：面向自动驾驶的交互约束离线强化学习
Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving
精选理由
提出约束交互分布偏移的离线强化学习方法，减少不可靠驾驶轨迹选择，提升复杂交互场景下的安全与表现。
AI 摘要
离线强化学习能够从固定数据集中实现奖励驱动的策略改进，无需在线探索，因此在安全关键领域尤其具有吸引力。然而，其核心挑战在于分布偏移：策略优化可能偏向离线数据支持较弱的动作，导致价值估计不可靠。现有方法主要在策略自身的动作空间中控制这种偏移。在自动驾驶等交互环境中，这可能并不充分：候选自车轨迹在边缘行为分布下可能仍具有良好的支持，但与交互日志中观测到的周围智能体行为联合考虑时，其支持却可能较差。我们将这种交互支持的退化称为\emph{交互分布偏移}（IDS），并提出了 \emph{Interaction-Constrained Drive Policy}（ICDP），这是一个显式控制交互层面分布偏移的离线强化学习框架。从自车与周围智能体未来状态的联合数据分布出发，我们证明了联合支持的退化可精确分解为自车支持分量和残余交互支持分量。我们通过对比式密度比估计恢复后者，从而单独提取交互相容性，而无需显式建模联合密度、预测周围智能体，也无需在策略优化期间使用反应式仿真器或学习得到的世界模型进行推演。在 nuPlan、Interplan 上的闭环评估以及真实世界卡车实验表明，ICDP 能够抑制对高价值但缺乏交互支持的轨迹的选择，并提升在交互至关重要的驾驶场景中的性能。项目网页：https://mahmoud-selim.github.io/ICDP/