通过函数进展平衡多模态学习

arXiv:2610.03035v1 公告类型：新 摘要：多模态学习常受到模态失衡的影响，即联合优化过程被单一模态主导。现有方法通常根据由预测不确定性或优化统计信息得到的分数差异来估计模态失衡。然而，由于不同模态具有不同的预测不确定性和学习动态，直接比较这些分数可能会将模态固有差异误判为进展差距，从而导致失衡估计产生偏差。本文提出 Function-Space Guided Multimodal Optimization（FGMO），利用函数空间进展信号评估各模态的优化进展，并协调不同模态之间的优化，以缓解模态失衡。具体而言，我们引入 Functional Progress Estimation（FPE），用于衡量每个模态的更新所引起的函数空间响应，并通过与损失对齐的单模态参考进行校准，从而得到可比较的进展信号。在此信号的基础上，Functional Response Control（FRC）重新分配模态级函数空间预算，并通过张量级学习率调整实现目标响应。理论分析在控制器状态失配有界的条件下，证明了 FRC 具有单步目标收缩性质；大量实验也表明，FGMO 在多个多模态基准测试中均具有良好效果。