少测量，了解更多：自监督测试时特征获取
Measure Less, Know More: Self-Supervised Test-Time Feature Acquisition
精选理由
在未知任务下智能选择模态，以更低采集成本提升多模态推理效果。
AI 摘要
arXiv:2610.03454v1 公告类型：新 摘要：多模态、高维学习领域的最新进展，使基础模型能够处理异构的大规模数据。然而，在测试时获取全部特征或模态的成本可能高得令人难以承受，而且往往存在冗余。因此，按顺序选择具有信息量的模态至关重要；但当下游任务或预测目标未知时，这一过程颇具挑战。为此，我们提出 ECHO-$k$，一种与任务无关的自监督模态获取学习原则：利用深度模型内部的预训练表示（例如来自基础模型的表示）作为代理目标，以概括跨模态信息。我们在线性化的理想设定下给出了理论保证，并据此提出用于顺序模态选择的强化学习（RL）策略。在与任务无关且无标签的获取基线中，ECHO-$k$ 在多种基础模型后端上始终提升了预算约束下的下游性能。我们的方法为成本感知的测试时部署提供了一条有理论依据的路径，对于任何测量成本高昂、时间受限且下游任务事先未知的多模态系统，都具有重要意义。