EventLens:面向视频理解的事件结构强化学习
EventLens: Event-Structure Reinforcement Learning for Video Understanding
精选理由
通过可验证的事件结构强化学习,提升视频时序理解、事件定位与关系推理能力。
AI 摘要
近期的多模态大语言模型(MLLM)在视频问答方面取得了出色的效果,但往往无法恢复使视频保持连贯的时间结构。它们可能会合并相邻事件、遗漏单个事件的进展过程,或推断出跨事件的不合理关系。我们将结构化时间理解定义为从视觉证据中恢复事件结构的能力,包括事件边界、单事件进展和多事件关系。我们认为,这一缺口源于当前后训练目标与时间推理之间的不匹配:基于描述的监督使模型能够依赖语言捷径,而不是对视觉时间信息进行定位。为此,我们提出 EventLens,一种以视觉为中心、通过事件结构恢复来学习视频理解的强化学习框架。EventLens 不重建描述文本,而是在受控扰动下训练模型恢复时间结构,例如改变时间粒度、反转进展过程以及打乱事件顺序。我们基于三级时间本体构建了这一框架,并推导出三类可验证任务:事件分割、进展辨别和多事件关系推理。这些任务支持确定性奖励,因此无需人工偏好标签或学习式奖励模型,即可进行任务专门化的 GRPO 训练。我们进一步引入多教师在线策略蒸馏(MT-OPD),将专门化策略整合到统一模型中。在 Qwen3-VL 主干模型上的实验表明,EventLens 在时间定位和事件敏感推理基准上均取得了稳定提升,同时保持了通用视频问答性能。学习曲线进一步表明,与直接进行混合强化学习优化相比,EventLens 在显著降低训练成本的同时,实现了相当的下游迁移效果。