FloorSAV：利用2D平面地图阐明AV-LLMs的空间音频视觉上下文

arXiv:2610.11310v1 发布类型：cross 摘要：尽管在动态第一视角环境中进行3D空间推理对于具身智能至关重要，但音频视觉大型语言模型（AV-LLMs）缺乏直接从原始感知流中处理并内化全局几何结构的明确机制。现有方法要么需要高成本的微调，要么未能充分利用模型的跨模态推理能力。本文提出FloorSAV，一种通过渲染动态2D平面地图来显式建立空间音频视觉上下文的全新框架。我们融合3D点云、相机轨迹、空间音频线索以及经过语义定位的物体地标，将该平面地图作为与第一视角视频同步的流注入AV-LLM。借助平面地图解读引导，AV-LLMs利用其多模态能力，在单次推理中联合分析视觉、听觉和几何线索。我们进一步引入SAVED-Bench（Spatial Audio-Visual Egocentric Benchmark with Dynamic Agents），构建真实世界场景中空间能力的关键任务：动态相对关系、区域和路径推理问答。FloorSAV在SAVED-Bench和SAVVY-Bench的多项任务中提升了AV-LLMs的空间推理能力。基于真实值平面地图的研究表明，凭借准确的空间信息，FloorSAV具有巨大潜力。