arXiv cs.AI精选85

PlannerForge:用于自动驾驶中基于场景的运动规划器测试的 LLM 智能体

PlannerForge: LLM Agents for Scenario-Based Testing of Motion Planners in Autonomous Driving

· 35天前

精选理由

深度 94 / 新颖度 88,来自 arXiv cs.AI。

AI 摘要

确保自动驾驶的安全性是一项关键挑战。基于场景的测试是一种用于验证自动驾驶系统(ADSs)的系统化流程,但目前仍是一个碎片化的模块化流水线:场景生成、检索、修改、ADS 执行和结果分析分别由交互很少的独立工具完成。大型语言模型(LLM)智能体已在 ADS 的感知、规划和控制等子系统中展现出良好应用前景。然而,尚无先前工作能够通过统一的 LLM 智能体框架覆盖 ADS 的完整基于场景的测试流水线。我们提出了 PlannerForge,这是一种 LLM 智能体框架,扩展了基于场景测试的全部阶段(从场景生成到 ADS 评估),并新增两个由 LLM 增强的阶段:ADS 增强和 ADS 基准测试。我们使用 10 个开箱即用的 LLM,在 5 种提示条件下,对所有任务(生成、选择、修改、模块路由、规划器测试和增强)评估了 PlannerForge。各任务的最佳得分范围为 0.88 至 1.00;在大多数任务上,开源的 20-35B 后端模型能够媲美商业 API。Qwen3.6:35B 等开源模型在五项任务中的三项上达到了商业 API 的水平。将各模块端到端串联后,仍可保留 83% / 78% 的种子查询(商业模型 / 开源模型)。在自然语言生成方面,PlannerForge 优于 Scenario Factory 2.0(Finkeldei 等,2025)(200 个查询中生成 193 个可执行场景,而非 144 个),并实现了所请求城市、道路和车辆属性的 92-96%。在排名第 1 的选择准确率上,它优于 BM25(Robertson 和 Zaragoza,2009)(92.0% 对 67.5%);在生成物理有效修改方面,它优于 From-Words-to-Collisions(Gao 等,2025)(≥94% 对 31%)。在 N=400 时,成本调优在不进行领域特定微调的情况下,将规划器成功率从 50.4% 提升至 70.2%,并将碰撞率从 19.0% 降至 8.4%。

查看原文(arXiv cs.AI)