MUNITE：面向任意到任意多模态生成的统一多模态潜变量推理

arXiv:2610.09866v1 发布类型：新建 摘要：我们提出了 MUNITE，一种灵活的任意到任意多模态生成潜变量框架，将编码与潜变量生成视为同一个推理问题，只是所观测证据的数量不同。给定任意模态子集，MUNITE 都能对与完整观测相对应的潜在表示建模其条件分布。完整观测可恢复确定性编码，无观测可恢复潜变量边缘分布，而中间子集则定义条件潜变量推理，且这一切都在单个条件流模型中完成。共享的潜变量样本捕捉生成目标之间必须保持一致的变化，而模态特定的生成解码器则独立建模其余不确定性。为从不完整的训练样本中学习这些条件分布，我们通过自蒸馏扩展了条件流匹配：在相同的中间潜变量状态下，利用基于更丰富可用观测的预测，监督基于更小观测子集的同一模型。当更丰富证据对应的轨迹遵循精确的条件流时，这种方法能够提供与完整目标去噪相同的期望学习信号。在 PolyMNIST-D-Q、FFHQ64 和 image-text-audio 上，MUNITE 达到了具有竞争力或更优的生成质量及源目标对齐效果，并具有更高的联合生成连贯性。特别是，在所有一对多和无条件 image-text-audio 对比中，它都取得了最高的连贯性，展现了统一潜变量推理在多样化多模态场景中的有效性。