ReWorld：具有长时程记忆的交互式世界模型

交互式世界模型必须跟随用户的动作，记住它所展示过的地点，并实时流式生成。其矛盾具有结构性：控制需要短时程，而记忆需要无界时程。ReWorld 在训练时将二者分离，并在推理时对二者加以界定。混合的逐头注意力窗口将大多数头限制在近期过去，而少量全局头会关注整个历史；随机头路由避免任一能力绑定到特定头上；随机分块丢弃使稀疏历史符合分布。在推理时，整个过去都被纳入固定预算之下：一个有界 KV cache 由按姿态索引的地标库支撑，模型从中检索最接近当前姿态的地标。一个按度量尺度对齐的数据引擎将八个来源——Unreal 渲染的飞行穿行、游戏漫游和真实世界影像——置于同一个物理动作尺度上，因此同一次按键在每个来源中都会使相机移动相同距离，而回文轨迹提供了记忆训练所需的重访证据。随后，将分布匹配蒸馏限制在 LoRA 适配器中，把采样压缩到四步：一个骨干同时服务于高保真的多步模式和实时交互模式，可在写实、游戏风格和风格化世界中流式生成 704x1280 视频。在涵盖动作跟随、长时程回忆和视频质量的三轴协议下，与六个近期交互式世界模型相比，它取得了最佳控制保真度（$11.95^\circ$ 旋转误差以及最佳相机运动一致性）和最佳生成质量；在分钟级往返 rollout（$64$\,s，$384$ 个潜变量）上，其固定的 12 分块缓存仍能再生成起始视图——而在这种 rollout 长度下，滑动窗口早已逐出了证据，完整 KV 注意力则会耗尽内存。