arXiv cs.AI精选78

为视觉语言模型中的空间推理提炼路由式 3D 特权

Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models

· 5天前

精选理由

介绍利用3D几何蒸馏提升视觉语言模型空间推理能力的方法,推理时无需额外3D输入。

AI 摘要

空间推理一直是视觉语言模型(VLM)的薄弱环节,因为 RGB 输入无法直接提供几何证据。现有方法要么在推理时将 3D 信息注入模型,付出架构和延迟成本;要么使用结果奖励进行训练,而这种奖励只监督最终答案。空间错误源于感知:误判深度或方向只能通过场景的真实几何结构加以纠正,而空间训练语料库的 3D 扫描数据源已经提供了这种几何信息。我们提出 GPD(Geometry-Privileged Distillation),在策略内自蒸馏(OPSD)中将几何证据作为特权信息。对于每个问题,我们将深度、语义和鸟瞰图(BEV)线索渲染为紧凑文本,并与参考答案一同路由给教师模型;仅针对错误轨迹应用特权 KL 散度,以增强 GRPO,而部署的模型仍仅使用 RGB 输入。在 4B 主干模型上,GPD 在 VSI-Bench 上达到 57.1,并在 MindCube、SPARBench、MMSI-Bench 和 ViewSpatial 上取得 37.6 的平均分,在各项空间推理基准上均优于 GRPO 和答案特权 OPSD。消融实验验证了 3D 特权与答案特权的互补性、基于问题条件的路由相较于完整上下文注入的优势,以及将蒸馏限制在错误轨迹上的益处。

查看原文(arXiv cs.AI)