用于安全模仿学习的交错投影梯度下降

arXiv:2610.07167v1 发布类型：cross 摘要：我们提出了一种用于神经网络控制策略的模仿学习设计，以处理状态和输入约束。训练过程交替进行标准的模仿梯度步骤和由 \(k\) 个安全步骤组成的模块，将网络的动作拉向其在安全集上的投影；在运行时，控制器仅为训练得到的网络，不再使用安全过滤器。我们将该方案分析为策略动作空间中的非精确投影梯度下降。当在每个安全步骤重新计算投影动作，且每一步都使动作持续向安全集靠近时，令 \(k\) 以对数速度增长，可使训练状态上的约束渐近满足，并界定动作到模仿损失约束最优解的距离；当投影动作保持不变时，只有在这些动作能够由网络精确表示的情况下，才能得到同样的结论。在一项非线性自动驾驶竞速任务中，我们将该方法与在模仿损失中加入加权约束违反惩罚的方法进行了比较。当权重足够大时，我们的方法在将违反约束的回合比例从 \(15\%\) 降至 \(1\%\) 的同时，达到了与无约束模仿相同的单圈时间；相比之下，这一比例约为惩罚方法在其最佳权重下的六分之一。我们方法的单圈时间对权重不那么敏感，而权重主要决定训练过程中违反约束的消失速度。在竞速任务中，安全修正是稀疏的，分析所需条件并不成立；性能提升反而来自训练期间收集的数据。这些提升的代价是增加了训练计算量。