EviRover:强化超越一瞥的智能体感知
EviRover: Reinforcing Agentic Perception Beyond a Glance
精选理由
提出可交互获取证据的视觉智能体,显著提升细粒度与知识密集型视觉问答能力。
AI 摘要
传统上,视觉感知通常被表述为:在假设图像内容和模型的参数化知识足以解决查询的情况下,仅通过一眼查看图像进行一次性预测。然而,在依赖细粒度视觉细节或需要知识密集型且时效性强的信息的现实场景中,这一假设往往并不成立。我们将此类情况称为\textit{证据不足下的感知},并将感知建模为一种能够获取超越单次观察所得信息的智能体过程。为解决这一场景缺乏数据的问题,我们设计了两条专用数据生成流程,生成用于训练的 EviRover-SFT-5K 和 EviRover-RL-12K。我们进一步构建了 EviLens,这是一个经过人工验证的基准,涵盖五类感知任务,共包含688个实例。在这些数据的基础上,我们提出了 EviRover。据我们所知,这是首个经过明确训练、能够通过交互解决感知查询的感知智能体,其训练流程先采用监督微调,随后进行智能体强化学习。实验表明,4B EviRover 在 EviLens 上平均超过其骨干模型30个百分点,达到与先进专有模型相当的性能。这些增益还从 EviLens 迁移到了 WebEyes、传统感知基准和通用多模态基准,在 BrowseComp-VL 上提升了15个百分点。所有代码、模型和数据均已发布。