WOVEN：将视觉世界建模融入多模态LLM

arXiv:2610.12417v1 公告类型：cross 摘要：多模态大语言模型（MLLMs）在空间、具身、物理和时间推理方面表现不佳。我们假设，这些失败反映出一种共同的视觉状态转移推理能力缺陷，并检验该能力能否作为一种共享训练原语：不同模型可以从不同监督来源中学习这一能力，并将其复用于不同任务，同时采用系统化的训练方案。现有基准分别记录了这些缺陷，但不支持跨场景、动作和推理操作的受控比较。因此，我们提出WOVEN——一个用于视觉状态转移推理的训练数据源和基准。WOVEN按照场景、动作和推理类型组织转移监督，使用由视频预训练生成模型产生的多样且逼真的演化过程数据：涵盖20种场景类型、5种动作类型和8种推理类型，共36,076个样例。我们首先评估了38个前沿MLLMs（例如GPT-5.4和Qwen3-VL-235B-A22B），发现了显著且系统性的能力缺陷：即使是最强的模型，表现也远低于人类；这些失败在不同模型系列中反复出现，并且随着模型规模扩大仍然存在。随后，我们在多个规模上使用WOVEN训练MLLMs，发现它们学会了一种能够广泛迁移的共享能力：仅分别使用约2,000条样本训练的子集，就能使26个外部基准中的22个得到提升，最高提升27.3个百分点；此外，在保持相当准确率的情况下，WOVEN数据可以替代某项任务自身训练数据的30%至50%。进一步的受控比较得出了一套视觉世界建模训练方案，并在预留基准上进行了前瞻性验证：应根据监督所教授的推理操作来选择监督数据，而不是根据其呈现的动作、场景或领域来选择；同时，为增强鲁棒性，应优先选择视觉状态变化更大的数据。我们的工作确立了视觉状态转移推理作为一种可复用的基础能力，用于在MLLMs中开展系统性的视觉世界模型训练。