STARS：从时空动态到人机交互中的社会表征

arXiv:2609.40245v2 公告类型：replace-cross 摘要：在动态的、以人为中心的环境中，机器人导航需要基于稳健场景理解做出符合社会规范的决策。近期的视觉语言模型（VLMs）展现出物体识别、常识推理和上下文理解等颇具潜力的能力，而这些能力与社会机器人导航的细致要求相契合。然而，VLMs 能否准确理解复杂的社会导航场景（例如推断智能体之间的时空关系以及人类意图）仍不明确，而这对于实现安全且符合社会规范的机器人导航至关重要。尽管近期已有一些研究探索将 VLMs 应用于社会机器人导航，但尚无工作系统地评估其是否具备满足这些必要条件的能力。本文提出 Social Navigation Scene Understanding Benchmark（SocialNav-SUB），这是一个视觉问答（VQA）数据集和基准，旨在评估 VLMs 在现实世界社会机器人导航场景中的场景理解能力。SocialNav-SUB 提供了一个统一框架，通过涉及社会机器人导航中空间、时空和社会推理的 VQA 任务，将 VLMs 与人类及基于规则的基线进行比较评估。通过对当前最先进 VLMs 的实验，我们发现，尽管表现最佳的 VLM 与人类答案达成一致的概率令人鼓舞，但其表现仍不如更简单的基于规则的方法和人类共识基线，这表明当前 VLMs 在社会场景理解方面存在关键缺陷。我们的基准为社会机器人导航基础模型的进一步研究奠定了基础，并提供了一个探索如何调整 VLMs 以满足现实世界社会机器人导航需求的框架。本文概览以及代码和数据可见于 https://larg.github.io/stars。