EvoWorld:迈向生成式视频模型中的视野外世界演化
EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models
精选理由
提出让视频模型推演视野外事件后果的方法与评测,提升生成世界的因果连贯性和自主演化能力。
AI 摘要
生成式视频模型正日益被用作视觉世界模拟器,但其主要优势在于渲染看似合理的像素,而非推理世界应如何演化。连贯的世界演化不仅需要视觉保真度:当事件发生时,模型必须推断其对世界中各个实体的影响,再渲染由此产生的状态。例如,野兽出现后,模型不仅应描绘这只野兽,还应根据实际呈现的场景,推断附近的人应逃跑、寻找掩护还是反击。现有基于扩散的视频模型缺乏显式机制来维护世界状态,并推理此类以事件为条件的后果,因此往往生成视觉上看似合理、但行为上静止不变或因果上不一致的结果。为使这一推理差距变得具体且可衡量,我们提出了一个新问题——视野外因果演化,要求模型呈现事件,推理其对不断演化的世界状态的影响,并在世界持续演化的过程中揭示因果上合理的结果,即使相关演化发生在视野之外。作为基线参考方案,我们提出 EvoWorld,这是一种大脑与渲染器协作的框架,其中视觉语言模型充当世界大脑:它观察已生成的片段,持续维护对世界的动态描述,并推理合理的状态转移;片段自回归视频渲染器则将这些状态转移以视觉形式呈现。我们进一步推出 EvoWorld-Data 和 EvoWorld-Bench,用于训练和评估事件呈现、因果反应及重访一致性。实验表明,与近期模型相比,EvoWorld 在保持视觉质量和一致性的同时,显著提升了以事件为条件的因果演化能力,为推理引导下超越当前视野的自主世界演化确立了参考基准。