我看得够多了吗？冻结的视频语言模型编码了证据就绪状态

arXiv:2610.08560v1 公告类型：交叉收录 摘要：流式视频语言模型不仅必须决定回答什么，还必须判断当前问题所需的证据是否已经出现。现有系统将这一决策作为独立的触发机制来学习；我们则探究未经修改的模型是否已经在计算这一状态。我们表明，冻结的 VideoLLMs 携带一种可通过线性方式读取的证据就绪信号，其标签来自带时间戳的证据，而非模型输出。在采用逐字节完全相同输入的统一评估中，全部七个模型的这一信号均可被解码（在最严格的未就绪采样条件下，AUROC 为 0.733–0.905，而拟合的时钟预测器接近随机水平）；即使拟合探针时未使用某一基准系列的任何视频素材，该探针仍能读取该系列的信号。该信号以问题为条件：对于逐字节完全相同的视频窗口，仅改变问题就会使 66.1% 的配对样本的读出结果发生反转，而所有不使用问题信息的对照方法由于实验设计均处于随机水平。模型即使回答错误，也仍能编码就绪状态：在错误回答中，AUROC 仍达 0.722。在延迟匹配的答案选择任务中，就绪信号也优于不确定性估计器及其有监督组合，并且比置信度更贴近独立的人类判断。已发布的流式触发器同样采用线性读出，但在其自身基础模型的激活上读取时，训练后的触发器与就绪信号近乎正交，其解码就绪状态的准确性远低于探针。我们将这一读出机制转化为 Readiness Gating，一种回答时机策略，在视频时长匹配的情况下，准确率最多提升 9.75 个百分点，且计算开销可忽略不计。其收益大小随任务提供的准确率提升空间而变化：在 26 种配置中，收益随这一空间变化；在像素完全相同的情况下，改变这一空间的干预也会使收益随之变化。