DART:面向少步视频扩散模型免训练 LoRA 复用的蒸馏感知重参数化
DART: Distillation-Aware Reparameterization for Training-Free LoRA Reuse in Few-Step Video Diffusion Models
精选理由
提出无需训练即可复用LoRA的方法,提升少步视频生成质量并减少负迁移。
AI 摘要
步数蒸馏降低了视频生成成本,但复用为更长轨迹训练的 LoRA 可能改变其功能效果,或降低目标质量。静态参数兼容性为这一问题提供了一个视角;我们的观察表明,在缩短的去噪调度下,相似的测量几何结构可能与不同的适配器行为共存。我们提出 DART,这是一种免训练方法,通过结合低秩坐标传输与目标调度响应校准来解决这一问题;该方法仅使用前向评估,不需要源训练视频。在四步 Wan2.2 目标模型上,DART-F 将联合质量分数从 0.9029 提升至 0.9227,并将宏观功能保留度从 -0.4644 提升至 +0.1349。组件分析表明,校准贡献了大部分质量提升,而坐标传输与校准结合时可带来互补增益。适配器级结果显示,部分适配器具有正向功能效果,而另一些适配器则表现出较强衰减,同时负向功能效果有所减弱。在另外两个目标模型上的评估显示出相同的总体趋势。这些结果表明,应当从功能保留与负迁移规避两个方面联合评估蒸馏模型中的 LoRA 复用,而不应假设每个适配器都能实现效果恢复。