arXiv cs.AI精选73

H3-World:将语言理解转化为世界控制

H3-World: Turning Language Understanding into World Control

· 42天前

精选理由

为视频生成提供低成本、时序精确的语言控制方案。

AI 摘要

我们提出 H3-World,一个高效框架,可将 33B MiniMax-H3 视频生成器转化为交互式世界模型。我们的关键发现是,随着大型视频生成器能力不断增强,语言正成为一种自然的控制接口。例如,MiniMax-H3 已经支持通过自然语言指令对角色行为和摄像机运动进行零样本控制。在此基础上,H3-World 将这一粗粒度语言接口转化为精确、具备时间对齐的世界控制,而无需引入专门的动作模块。具体而言,我们将每个动作表示为角色和摄像机指令的结构化组合,并将其与对应的时间视频潜变量对齐。为了使控制在时间上更加精确,我们进一步引入时间注意力路由,将每条指令限制在其预期的时间区间内,并减少不同动作之间的控制泄漏。重要的是,H3-World 直接复用大规模视频预训练中学到的语义表示,只需要轻量级适配。仅使用 8,000 个游戏样本、10,000 步 LoRA 优化,以及 0.199% 的可训练参数,H3-World 就能实现有效的角色和摄像机控制,同时保持较强的生成质量。它也能泛化到未见过的场景。这些结果表明,大型视频生成器中涌现出的控制能力可以被高效地转化为交互式世界控制。

查看原文(arXiv cs.AI)