SciMIF: 理解科学领域中的多模态指令遵循

理解科学领域中的指令遵循能力，对于有效利用多模态大语言模型（MLLMs）推动科学领域发展至关重要。在这项工作中，我们提出 SciMIF，这是一个新颖的基准，用于评估 MLLMs 遵循复杂科学指令的能力。具体而言，基于对 5 个代表性科学学科中 22 项不同任务的广泛分析，我们提出了一个全面的分类体系，包含 10 组约束，能够同时刻画通用功能需求和学科特定特征。在该分类体系的指导下，我们开发了一条高保真指令注入流水线，用于系统性地增强现有科学数据集。我们在多个最先进的闭源和开源 MLLMs 上进行了全面实验。研究结果表明，不同科学学科之间存在显著的性能差异，其中化学对当前 MLLMs 构成了更大的挑战。此外，我们观察到，增大模型规模并不会带来相应的约束遵循能力提升，而且当前模型在细粒度约束以及需要深入应用学科知识的指令上仍然表现出严重困难。SciMIF 填补了当前在科学领域多模态指令遵循评估方面的空白，为未来提升 MLLMs 在严谨科学应用中的能力奠定了关键基础。数据和代码将发布于 https://github.com/shenye7436/SciMIF 。