Foresight：无需重新训练即可规划流式 VLMs 中的未来感知

现有的流式视觉语言模型（VLMs）能够持续感知并推理视觉流，但其计算路径在整个推理过程中始终保持固定。因此，它们无法根据不断变化的场景动态调整计算，而不同的未来事件往往需要不同层次和形式的感知。我们证明，流式 VLMs 天生具备预判近期未来的能力，并利用这一能力以无需训练的方式动态配置未来计算。然而，要实现这种预期式计算极具挑战：未来预判必须足够可靠，才能指导计算；规划必须与流式推理并行运行；在线重配置还必须产生几乎可忽略的开销。为应对这些挑战，我们提出 FORESIGHT：一种双流架构，由两个共享权重、输入编码器和 KV cache 的孪生 LLM 组成。第一个 LLM 持续处理输入 token，第二个 LLM 则超前于数据流运行，以预判未来上下文、规划未来计算，并生成任务响应，同时不中断流式推理。每项规划都会决定下一次何时进行推理、届时检查什么内容，以及以多高的密度进行采样，并将瞬时证据与持久控制分离。随后，计算规划通过一种高效的重配置协议在线执行，该协议结合了 schema 引导解码和轻量级基于差异的更新，从而以较低开销实现动态适配。在冻结 Qwen3-VL-8B 主干网络的情况下，FORESIGHT 在 OmniPro Online 评测中取得了 23.0 的平均联合 F1，超过最强的训练基线 9.5%；同时，在 StreamingBench 和 OVO-Bench 上分别使主干网络提升 6.7 和 15.4，且当证据在视频流的较后阶段出现时，最大增益达到 18.7。我们的源代码将公开发布。