arXiv cs.AI精选85

AnchorReasoning:长尾自动驾驶场景中的视觉定位与因果推理数据集

AnchorReasoning: A Visual Grounding and Causal Reasoning Dataset in Long-Tail Autonomous Driving Scenarios

· 20天前

精选理由

为长尾自动驾驶提供视觉锚定因果推理数据,提升决策解释、轨迹预测与实时规划能力

AI 摘要

视觉-语言模型(VLMs)为长尾自动驾驶提供了一种有前景的方法,但现有驾驶数据集在将决策关键视觉证据与推理和规划相连接方面提供的监督有限。我们提出 AnchorReasoning,这是一个构建于 WOD-E2E 之上的视觉定位推理数据集,包含 416,119 个标注帧,以及涵盖四大类别和 19 种细粒度类型的 395,379 个决策关键元素。每一帧都被组织为一条视觉定位思维链(VG-CoT),将决策关键元素的识别与定位、元素属性及其影响、驾驶动作依据,以及动作与轨迹规划串联起来。我们进一步提出一种课程式监督微调策略,逐步学习这些层次化能力,并配套一种感知目标尺寸的视觉定位指标,用于评估定位质量。在八种通用、具身智能和自动驾驶专用骨干模型上的实验表明,VG-CoT 监督能够提升基于视觉定位的推理和轨迹预测能力。在各模型中,5-s ADE 和 FDE 分别降低 7.84 和 11.86,而 RFS Frame 和 Cluster 分别提升 1.66 和 1.70。平均而言,这些提升是在推理 token 减少 18.5 个、推理延迟降低 0.32 秒/帧的情况下实现的,证明了面向视觉定位且聚焦决策的监督对于长尾自动驾驶中的 VLM 推理与规划具有重要价值。

查看原文(arXiv cs.AI)