Lamarck的驾驶学校:通过进化竞争发现自动驾驶训练策略
Lamarck's Driving School: Discovering Autonomous Driving Training Strategies through Evolutionary Competition
精选理由
深度 91 / 新颖度 82,来自 arXiv cs.AI。
AI 摘要
自动驾驶能力在很大程度上取决于训练过程中所遇场景的分布。现有方法通常使用真实性、难度或风险等替代性标准来构建或动态调整训练场景分布。然而,这些预先设定的替代标准可能无法准确反映训练价值,导致训练资源使用效率低下。为解决这一局限性,我们提出了一种拉马克式进化框架,以候选分布之间的竞争取代基于替代标准的引导。我们将训练策略发现形式化为一个多阶段双层优化问题,并使用拉马克进化算法对其进行近似求解。在外层,达尔文式的交叉、变异与选择探索场景分布空间;在内层,策略学习获取新的能力,而拉马克式继承将这些能力传递至后续阶段,使场景分布与策略能力能够协同进化。由此产生的进化轨迹揭示了高价值分布之间反复出现的阶段性规律,其特征是通过阶段性挑战轮换实现能力积累。我们进一步将这些规律提炼为一种轻量且可复用的拉马克式训练策略。实验表明,与基线方法相比,完整框架最多可将性能损失降低25.07%,而轻量策略仍可实现19.13%的降幅。这些结果表明,进化竞争不仅能够发现有效的训练策略,还能揭示可复用的阶段性模式,即训练分布的价值如何随策略能力的变化而改变。代码已发布在GitHub上。