基于课程学习的深度强化学习：应对大气不确定性的鲁棒自主火箭着陆

远距离自主火箭着陆是一项具有挑战性的控制任务，因为在大气和飞行器动力学存在不确定性的情况下，必须协调导航、下降速率调节、姿态管理和燃料使用。本文提出了一种由课程学习驱动的近端策略优化（PPO）框架，用于随机环境中的三维火箭着陆。该环境综合考虑了随高度变化的空气动力阻力、风切变、时间相关湍流、离散阵风、不确定的推进和空气动力学参数、推力矢量失准、发动机迟滞、执行器增益变化、带噪观测以及指令延迟。学习过程分为远距离接近、软着陆下降和一体化着陆三个阶段。为支持跨越这些相互耦合的阶段进行学习，采用了策略迁移、奖励变化后的评论家预热、早期任务重演以及逐步增加天气严重程度等方法。在 100,000 次评估回合中，该策略成功着陆 96,656 次，对应成功率为 96.656\%，95\% Wilson 置信区间为 96.543--96.766\%。在零扰动条件下，成功率为 98.84\%；在天气严重程度最高的区间内，成功率降至 88.07\%。成功着陆表现出较小的着陆偏差距离，以及较低的剩余水平速度和垂直速度。探索性逻辑回归分析表明，平均风速是测量得到的与成功率相关性最强的因素；初始距离、初始高度、初始垂直速度和风切变指数也与结果相关。研究结果量化了所学习策略在评估扰动分布下的有效性，以及在严重复合大气条件下出现的性能下降。