通过自适应采集与序贯融合实现高效多模态推理

arXiv:2610.07466v1 公告类型：新 摘要：多模态系统通常会对所有可用输入进行编码，即使其中一部分输入已足以完成预测。自适应采集可以利用增量融合证据所产生的预测结果，决定下一步编码哪种模态以及何时停止，从而降低这一成本。然而，序贯融合会使这些预测结果依赖于输入顺序，因此，基于这些预测进行决策时，可能需要区分同一已采集集合的阶乘数量级的不同历史。我们提出 SemARC，将序贯模态聚合器（Sequential Modality Aggregator，SeMA）与自适应运行时控制器（Adaptive Runtime Controller，ARC）相结合，并利用已采集的证据，在每个模态的编码器运行之前选择该模态。SeMA 仅执行被选中的编码器和融合分支，更新固定大小的状态，并在每次采集后进行预测，而无需重新计算之前的分支。我们在随机化的模态子集和采集顺序下，对每个采集前缀进行监督，以鼓励模型在不同采集顺序下保持一致的预测。ARC 将依赖模态集合的边际效用先验与残差拟合 Q 学习相结合，用于选择下一个可用模态或停止采集，同时不查看尚未采集的输入，也不保留采集顺序信息。在六个多模态分类数据集和十一个基线方法上，与每个数据集中准确率最高的基线相比，SemARC 的宏平均 F1 平均提高 3.2%，总推理 GFLOPs 平均降低 61.4%。与测得速度最快的基线相比，在 GPU 和 CPU 上，端到端延迟平均降低 44.0%；在 Android INT8 上，平均降低 47.2%。在运行时模态缺失程度变化的情况下，SemARC 仍会跳过可用模态；在 24 种条件中的 21 种条件下，其宏平均 F1 达到或超过最佳基线，同时总 GFLOPs 平均降低 14.8%。因此，SemARC 为在异构设备上实现高效多模态推理提供了一条切实可行的路径。