VBVR-Pro:用于原生视觉推理的可扩展、可验证套件
VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning
精选理由
为视觉推理研究提供可训练、可验证的基准与工具。
AI 摘要
原生视觉推理将视觉生成本身视为推理媒介:视觉状态(即图像和视频)不仅仅是需要理解的输入或需要渲染的输出,而是超越语言进行问题求解的第一类载体。然而,进展仍受限于缺乏可扩展的训练任务、可靠的反馈,以及跨生成载体的受控比较。在这项工作中,我们提出 VBVR-Pro,一个闭环测试平台,使基于生成的原生视觉推理变得可训练、可验证、可优化,并且可进行实验控制。1)任务扩展。VBVR-Pro 将视觉推理转化为一个受控的任务空间,包含 300 个程序化生成任务。在 VBVR-Pro 上训练的模型,在 RISE-Video、MME-CoF-Pro 和 BabyVision 等七个外部视觉推理基准上表现出强迁移能力,超出了所提出套件的范围。2)可验证奖励。VBVR-Pro 为任务约束的评估提供可验证的奖励评分器。通过对领先 MLLMs 作为裁判的系统性研究,我们识别出当前流行的 VLM-as-a-judge 范式中反复出现的失败模式。相比之下,所提出的评分器建立在确定性的、任务特定的规则之上,并与人类判断实现了细粒度对齐。重要的是,它们可作为大规模多任务强化学习的可靠奖励信号,并在各类视觉推理任务上展现出更强的 RL 后性能。3)机制研究。VBVR-Pro 支持在 30 多种图像、视频和交错式生成器之间开展受控模态研究。我们的分析表明,对于需要持续时空状态跟踪的任务,视频生成仍然最强,而交错式生成则提供了一种计算更高效的替代方案。关键的是,消融和探测结果表明存在视觉原生轨迹,而这对于视觉推理至关重要。我们公开所有数据、模型、评分器和代码。