离开、停留,还是居住在那里?人类与 LLM 协同标注的时长常识推理
Leaving, Staying, or Living There? Duration Commonsense Reasoning with Human-LLM Co-annotations
精选理由
揭示视觉语言模型时长常识推理短板,并提供人机共标测评语料。
AI 摘要
在后院里园艺意味着居住在那里,而入住 Airbnb 更可能意味着停留几天。这类时长判断对于理解人类流动、旅行行为和社会背景十分重要。然而,社交媒体帖子中很少明确说明时长,往往必须从嘈杂的文本、视觉和语境线索中推断出来。本文探究视觉语言模型是否具备这种时长常识。我们构建了一个由人类和 LLM 协同标注的地理标记推文新语料库,为该任务提供测试平台。我们发现,即使通过多轮 Chain-of-Thought 提示进行引导,最先进的模型在时长推断方面仍然表现不佳。错误分析进一步表明,模型常常无法整合关键的语境信息,或者过度依赖显著的视觉细节,而忽视细微的主题标签和语义差异。这些发现凸显了实现具备语境感知能力的多模态理解仍面临重大挑战。