超越单个视频:电子商务跨视频推理的基准测试与主动证据搜寻
Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning
精选理由
提出电商跨视频推理基准与主动取证框架,提升多模态模型比较商品信息的准确性。
AI 摘要
电子商务视频信息密度高,消费者评估产品、商家制定营销策略时也经常需要对视频进行比较。然而,现有多模态模型主要聚焦于单视频理解,跨视频比较信息的能力有限。我们推出了 AdsCVR,这是首个电子商务跨视频推理基准,包含 2,483 个视频和 6,110 个问答对,涵盖六个推理维度。跨视频推理要求模型在大量冗余帧中定位细粒度证据,并整合视觉细节、语音和屏幕文字。为此,我们提出了 AdSeek,这是一种智能体框架,能够在多轮探索过程中动态选择视觉和音频工具,以主动获取证据,取代静态的统一采样。为解决强化学习中稀疏的信用分配问题,我们开发了一种离线轨迹校正机制,用于识别强化学习生成轨迹中的推理错误和缺失的多模态证据。经过校正的轨迹提供了监督微调信号,可减少强化学习过程中学习到的偏差。该机制支持一种校正自举流程:初始强化学习阶段暴露推理瓶颈,监督微调阶段对其进行纠正,最终的强化学习阶段进一步改进策略。AdSeek 在 AdsCVR 测试集上取得了 74.30% 的准确率,相比其 Qwen3-VL-8B-Instruct backbone 提升了 27.90 个百分点。它还能够泛化到开放域 CrossVid 基准,展现出有效的主动证据搜集能力。