arXiv cs.AI精选79

旋转了,但转了多少?诊断并改进 VLM 的物体旋转推理能力

Rotated, but How Far? Diagnosing and Improving Object-Rotation Reasoning in VLMs

· 9天前

精选理由

提出旋转推理基准并揭示视觉语言模型角度判断缺陷,轻量方法可显著提升其旋转推理准确率。

AI 摘要

视觉语言模型(VLM)能够检测出物体在不同视图间发生了旋转,却无法可靠地判断旋转了多少。我们提出 OR-Bench,这是一个用于物体旋转推理的细粒度基准,包含八项任务,涵盖旋转检测、旋转幅度估计和多视图旋转推理。在对 12 个 VLM 的评估中,这一差距十分显著:最强的模型在旋转检测上的准确率接近 100%,但即使是粗粒度的旋转幅度估计,其表现也接近随机猜测水平。当被要求给出精确角度时,模型有 91.8–100% 的预测集中在 $0^\circ$、$90^\circ$ 和 $180^\circ$ 这三个角度上,我们将这一失效现象称为典型角度坍缩。即使没有视觉输入,这种坍缩仍然存在。表征探测表明,信息缺失只能解释部分原因。尽管随着粒度变细,旋转信息变得更难提取,但表征中仍保留了大量粗粒度信息,而且一个简单的线性探针就能超越模型生成答案的表现。这表明,VLM 未能充分利用其已编码的旋转信息。因此,我们提出 RotationCue,这是一种轻量级解码器,可从 VLM 自身的冻结表征中提取粗粒度旋转信息,并将其作为中间文本上下文反馈给模型。在三个 VLM 上,RotationCue 提升了 OR-Bench 中所有模型与任务组合的表现,在保留通用能力的同时,将宏平均准确率提高了 7.9–12.6 个百分点。

查看原文(arXiv cs.AI)