Prism:面向统一多模态模型的双向自教学
Prism: Bidirectional Self-Teaching for Unified Multimodal Models
精选理由
Prism通过评估自生成文本与图像链的可靠性构造双向训练目标,提升统一多模态模型的理解与生成能力。
AI 摘要
统一多模态模型(UMMs)旨在通过单一模型支持视觉理解与生成。现有的后训练方法要么将理解能力作为固定教师来提升生成能力,要么依赖真实轨迹来监督理解与生成。相比之下,Prism 从自生成的交错展开轨迹中提取双向监督信号,并根据其文本链和图像链的可靠性构建训练目标。我们提出 Prism,一种面向 UMMs 的双向自教学后训练方法。如同棱镜将混合光分解一样,Prism 将耦合的交错轨迹解耦为文本链和图像链,评估各条链的可靠性,并根据它们的可靠性状态构建相应的训练目标。在 SenseNova-U1 和 BAGEL 上的实验表明,Prism 能够同时提升理解与生成能力。在生成方面,SenseNova-U1 的 GenEval 得分从 85.8 提升至 89.2(+3.4),DPG 得分从 86.1 提升至 87.3(+1.2)。在理解方面,MME 总分从 2282.6 提升至 2311.6,MMVP 得分从 58.0 提升至 62.0。在 BAGEL 上也观察到一致的提升。这些结果表明,Prism 通过从自生成轨迹中构建可靠性引导的自训练目标,实现了生成与理解能力的协同提升,且在目标构建过程中无需依赖外部验证器或经外部标注修正的轨迹。