通过逐查询模态选择实现高效的全模态大语言模型推理

arXiv:2610.31768v1 公告类型：新摘要：全模态大语言模型（Omni-LLM）能够联合处理文本、音频和视频等多种模态，从而实现更强的多模态理解与推理能力，但通常会带来高昂的推理成本。我们观察到，额外模态所带来的收益因查询而异，这表明固定的模态配置可能效率低下。受此启发，我们研究了逐查询模态选择，即在保持底层 Omni-LLM 不变的情况下，自适应地为每个查询选择要提供的模态。我们将该问题表述为准确率—成本优化问题，并提出了一种面向成本的模态选择学习方法。我们使用 Qwen2.5-Omni 和 Qwen3-Omni，在 WorldSense 上从三种推理成本指标进行评估：输入词元数、延迟和货币成本。在这两个模型上，逐查询模态选择均能持续改善准确率—成本权衡，甚至能够超过向 Omni-LLM 提供所有可用模态的标准设置。对于 Qwen2.5-Omni，我们的面向成本方法在准确率上达到或超过全模态设置，同时仅需约 41% 的输入词元数、39% 的延迟和 61% 的货币成本。