从感知到预测与干预：真实场景下主动式视频助手的基准评测
From Perception to Prediction and Intervention: Benchmarking Proactive Video Assistants in Real-Life Scenarios
精选理由
评测视频助手的感知、预判与干预能力，揭示主动响应的关键短板。
AI 摘要
arXiv:2610.21568v1 公告类型：新增 摘要：近期，多模态大语言模型推动了视频理解的发展，但现有基准主要评估模型能否解读所观察到的视觉内容。在真实世界场景中，助手还必须预判需要何种帮助，并决定何时提供帮助。为弥补这一空白，我们引入了 \textsc{P$^3$IBench}，这是一个面向真实流式场景中主动式视频理解的基准。该基准评估三项互补能力：日常感知、风险预测与干预。我们对包括流式系统和经过适配的非流式系统在内的12个具有代表性的开源及专有视频语言模型进行了基准测试。评估结果表明，当前模型难以做出校准良好的响应决策。最后，我们构建了额外的主动式训练数据，并训练了 \textsc{P$^3$I-Assistant-4B}，在多个任务上取得了提升，但各项能力的增益仍不均衡。总体而言，这些发现表明，有效的主动式辅助不仅需要视觉理解能力，还需要精准的响应时机和适当的克制。