DyMD:通过少步视频世界模型中的分布匹配蒸馏保持交互动态
DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models
精选理由
展示如何让少步视频世界模型保留交互动态
AI 摘要
大型视频扩散模型为具身预测与学习提供了富有表现力的先验,但其多步采样对于交互式下游使用而言仍然代价高昂。Distribution Matching Distillation (DMD) 能够实现少步视频生成,但在保持视觉质量的同时,可能会抑制机器人--物体运动。通过考察 DMD 的教师信号和 fake-score 信号,我们发现,较弱的重新加噪会使教师后验集中在运动不足的 rollout 附近,从而限制恢复运动的引导。同时,运动更强的 rollout 往往会产生更大的 fake-score 拟合误差,这可能阻碍生成器学习交互动态。我们提出 DyMD,这是一个 DMD 框架,可使教师监督和 critic 拟合同时适应不断演化的学生模型。基于时间亲和性的重新加噪采样通过将基础调度与受局部后验变化启发的教师先验相混合,使时间步分布适应每个 rollout 当前的交互保真度,从而平衡运动恢复与外观细化。为更好地跟踪运动更强的 rollout,动态引导的 fake-score 跟踪使用一个噪声条件预测器,根据潜在时间动态估计相对于噪声的拟合难度,然后在 critic 损失中提高预测为困难的 rollout 的权重。使用 DyMD,我们将一个 14B 教师模型蒸馏为一个四步 1.3B 学生模型,并且推理时无需辅助模块。在具身视频基准上,与 Base DMD 相比,学生模型在 R-Bench 任务遵循性上提升了 $9.6$ 个百分点,在 PAI-Bench-G Domain 分数上提升了 $5.1$ 分,同时保持了相当的视觉质量。作为下游动作规划的骨干,我们的学生模型在两个 WorldArena 任务上取得了 34% 的平均成功率,而 Base DMD 为 16%。