在噪声监督下的多模态学习中学习可信信息

arXiv:2610.11057v1 公告类型：cross 摘要：多模态分类通过处理和关联来自多个模态的信息来实现更准确的预测。然而，现有方法通常依赖高质量的真实标签，而在现实场景中获取这类标签十分困难。尽管带噪标签学习中的样本选择方法旨在从噪声数据中识别标注正确的样本，但传统方法主要关注单模态设置，未能充分利用多模态信息。这促使我们构建一种更可靠的多模态学习噪声检测器。为此，我们从理论上分析了表示结构与噪声检测能力之间的关系。基于这一分析，我们提出了 REFINE，这是一种多模态标签噪声检测框架，联合使用融合表示和单模态表示进行标签噪声检测。具体而言，REFINE 通过对目标类和背景类进行判别分析来构建判别特征向量，并为每个类别选择具有更强噪声检测能力的可信表示空间。在每个可信空间内，REFINE 衡量每个实例表示与判别特征向量之间的对齐程度。随后，它将从这些空间中选出的子集进行合并。合并后的集合为更新多模态分类器提供了更干净的监督信号，从而减小训练过程中错误标注样本的影响，并提升模型的泛化能力。在多个不同任务上的大量实验表明，与基线方法相比，REFINE 具有更优的性能。源代码将公开发布。