条件残差预测：无需双向教师模型改进自回归视频扩散

arXiv:2610.11479v1 公告类型：cross 摘要：因果视频扩散模型以自回归方式生成视频，适用于流式、交互式和长视频生成。然而，在标准训练下，与同等规模的双向模型相比，它们通常会产生质量较低的视频。许多现有方法通过从预训练双向教师模型初始化或进行蒸馏来弥合这一差距。相比之下，我们从图像模型初始化出发训练因果模型，整个过程中不使用任何双向视频模型。由于该路径既不需要大型双向教师模型，也不需要复杂的蒸馏流程，因此更加简单且易于扩展。在这一过程中，我们发现，基于真实历史训练的因果模型会严重依赖这些历史信息，以至于在推理时，自身生成历史中的错误会不断向前传播。我们认为，这种依赖有很大一部分是不必要的，因为当前输入本身已经决定了历史信息所能提供的大部分内容。为此，我们提出条件残差预测（Conditional Residual Prediction，CRP），这是一种降低模型对条件依赖的简单方法：模型首先在不使用条件的情况下预测目标，条件信息只能在此预测之上添加残差。将 CRP 应用于历史信息时，该方法促使模型尽可能仅根据当前内容预测每个片段，而只在当前内容无法提供时使用过去的信息。在受控实验中，CRP 几乎弥合了与采用相同设置训练的双向模型之间 6.14 分的差距。在此基础上进行扩展后，我们训练了 Optica，这是一个拥有 2B 参数的因果视频模型，能够以自回归方式生成 5 秒、480p 视频，并且仅使用约 1500 万个训练视频就在 VBench 上达到 82.78 分。