No-Free-Graph：学习何时应将多模态数据图化

arXiv:2610.02768v1 公告类型：新 摘要：多模态图学习近年来成为一种有效范式，用于将实体间关系纳入多模态表示。现有研究已在如何构建和优化图方面取得了 substantial 进展，但很少考虑一个更为根本的问题：对于给定的数据集和任务，是否应引入额外的关系结构。通过在多样化的数据集、任务和图构建器上开展实证研究，我们发现，图化并非始终有益：在某些情况下，引入关系结构能够带来显著提升，而在另一些情况下，收益有限，甚至会产生负面影响。这一观察促使我们提出一种新的观点：图构建应被视为基于预期效用的选择性决策，而非默认的预处理步骤。为解决这一问题，我们提出 MAG-SCOUT，这是一种图构建前评估框架，用于在生成完整拓扑结构之前，估计引入图结构是否有益。MAG-SCOUT 收集有限的关系证据，分析其对任务可能产生的特定贡献，并结合构建成本估计图化的预期效用，从而作出构建或跳过的决策。在六个多模态数据集、三个下游任务以及多种图构建器上的大量实验表明，MAG-SCOUT 能够有效识别何时应引入图结构：在满足预注册下限的前提下，节省 33.1% 的任务宏观图工作量，同时保留 96.7% 的留出正增益总量。