arXiv cs.AI精选71

Code World Model:Coding Agent as World Brain

Code World Model: Coding Agent as World Brain

· 48天前

精选理由

展示用代码驱动世界状态演化,提升世界模型的持久性与可控性。

AI 摘要

世界模型旨在模拟复杂环境在动作和事件作用下如何演化,但现有基于视频的世界模型主要从视觉观测中学习动力学,这些观测呈现的是结果,而非支配世界演化的底层知识、规则和机制。这使得它们难以维持持久的后果,并支持连贯、开放式的演化。我们提出 Code World Model,这一框架将世界演化与视觉呈现分离,结合语言模型的推理与编码能力以及视频模型的生成先验。一个 coding agent 充当世界大脑,对事件及其后果进行推理,并生成可执行代码以维护持久的世界状态并执行符合规则的演化。为将可执行状态与视觉生成连接起来,我们引入一种 proxy 表示,它编码逐帧时空约束,并被编译为 proxy video,用以条件化视频模型,从而渲染高保真的视觉观测。我们还开发了数据流水线,用于从游戏和真实世界视频中构建对齐的 proxy-观测对。经过配对游戏数据微调后,MiniMax-H3 能够遵循由 coding agent 构建的简单交互式世界中的基于 proxy 的时空规范,同时保留丰富的视觉细节和动态效果。这些结果展示了将用于持久世界演化的代码与用于灵活视觉呈现的视频模型相结合的潜力,为开放式世界模型提供了一条新路径。

查看原文(arXiv cs.AI)