arXiv cs.AI精选74

Safety4DM:面向车路云协同驾驶中风险感知动态地图的视觉语言框架

Safety4DM: A Vision-Language Framework for Risk-Aware Dynamic Maps in Vehicle-Road-Cloud Collaborative Driving

· 1天前

精选理由

将道路图像转化为动态地图中的结构化风险信息,并支持自然语言查询与可执行驾驶建议,提升协同驾驶安全性。

AI 摘要

动态地图(DM)是车路云(VRC)协同自动驾驶的核心信息基础设施。它融合多源感知数据,以克服单车感知固有的视距和视野限制。然而,DM 在驾驶安全方面仍存在两点不足。首先,DM 数据规范已从语义层面对道路状况进行了定义,但尚无处理流程能将真实世界的道路观测转化为 DM 中的细粒度风险实体。其次,现有 DM 系统缺乏面向驾驶风险的自然语言接口。为弥补这些不足,我们提出 Safety4DM,这是一种面向 VRC 动态地图的安全导向语言系统。我们首先构建了 RoadRisk,这是一个真实世界道路图像数据集,涵盖四类道路状况和四个风险等级。基于该数据集,我们对视觉语言模型(VLM)进行微调,使其具备道路安全风险感知能力。该模型输出可由 DM 直接接收的结构化风险表示。随后,我们引入安全感知逐步提示(SafeStep)机制,作为 DM 的自然语言查询接口。SafeStep 能够准确回答查询,并生成可执行的驾驶建议。为构建和评估这一接口,我们开发了 VRC 协同仿真框架 SafeVRC-Sim,以及安全问答基准 SafeDM-QA。实验表明,即使是小型模型 Qwen3-VL-4B,在微调后也能达到 89.83% 的风险感知准确率。SafeStep 还可轻松接入多个大语言模型系列。在来自五个系列的中大型模型(参数量为 200 亿及以上)上,其自然语言查询准确率均超过 93%,展现出较强的泛化能力。

查看原文(arXiv cs.AI)