arXiv cs.LG精选80

视频生成模型:后训练与对齐综述

Video Generation Models: A Survey of Post-Training and Alignment

· 11天前

精选理由

系统梳理视频生成后训练与对齐方法,为构建可控、可靠且安全的视频模型提供路线图。

AI 摘要

arXiv:2610.00812v1 公告类型:交叉 摘要:视频生成已从短时低质量片段迅速发展到具有复杂时空动态的高分辨率长时序列。尽管通过大规模预训练学习到了强大的生成先验,预训练视频模型通常仍无法可靠地遵循人类意图、保持时间连贯性,或满足物理与安全约束。与图像和文本生成相比,视频生成中的对齐面临独特挑战,包括随时间累积的误差、运动与外观的耦合、多目标权衡,以及对时间属性有限的监督。这些挑战推动了系统化后训练策略的发展,使其能够在无需从头重新训练模型的情况下对预训练模型进行适配。在本文中,我们首次全面综述视频生成模型中的后训练与对齐。我们将后训练视为一个统一框架,并根据对齐信号的施加方式,将对齐区分为隐式对齐和显式对齐。从这一视角出发,我们将现有方法归纳为四大类:监督微调方法、自训练与蒸馏方法、基于偏好与奖励的方法,以及推理时方法。该分类体系连贯地展现了对齐信号如何在训练和部署过程中塑造模型行为。除方法学进展外,我们还综述了常用数据集、基准和评估实践,并讨论了可扩展奖励设计、长时间跨度的时间一致性、稳定性与表现力之间的权衡,以及安全感知生成等开放性挑战。本综述旨在为推进可控且可靠的视频生成模型提供结构化的概念基础和实践指导。

查看原文(arXiv cs.LG)