超越单模态基底:多模态数据的拉回几何
Beyond Unimodal Bases: Pullback Geometry for Multimodal Data
精选理由
提出面向多模态数据的可解释黎曼几何,提升高似然路径插值与局部结构建模能力。
AI 摘要
arXiv:2610.00708v1 公告类型:新 摘要:数据驱动的黎曼几何为高维数据提供了非线性插值和几何表示。为了使这些操作具有统计意义,观测值之间的路径应优先穿过高似然区域。现有的可扩展拉回几何构造通常采用单模态高斯潜在分布,假设数据位于单个流形附近。对于多模态数据,将彼此分离的模态或局部结构映射到同一个高斯区域,可能需要显著的传输变形,并损害所得几何。我们针对由流形混合支撑的数据提出一种拉回几何。利用潜在高斯混合分布,我们将其黎曼度量定义为责任度加权的分量精度期望的矩阵平方。该度量光滑且正定,并且在单分量极限下恢复现有的高斯构造。对于结构化的重叠混合分布,我们建立了对数密度沿测地线呈凹性的条件,从而在所提出的几何与穿过高似然区域的路径之间建立形式化联系,并推导出相应的局部曲率关系。我们将这种几何应用于具有自适应混合学习能力的 normalizing flow,使活跃分量的数量能够从数据中自发形成,同时支持逐分量重构和局部有效维度估计。在合成几何数据、具有已知参考轨迹的受控多视角图像场景以及 MNIST 上的实验表明,该方法能够减少传输失真,在路径对高似然区域的支持方面具有竞争力,较为接近地恢复参考轨迹,并提升插值的真实感。这些结果将可扩展拉回几何拓展到不再局限于接近单个流形的数据集,同时保留了局部结构的可处理性和可解释性。