CORE：通过 Reranker 蒸馏提升 MLLM 嵌入中的组合推理

基于 MLLM 的嵌入模型在组合检索中仍然受限，往往无法区分包含相同概念但属性-对象绑定不同的场景。然而，当同一个主干网络作为交叉注意力重排序器使用时，它却能够解决这类区分，这促使我们将其组合式判断蒸馏到嵌入模型中。我们提出 CORE，它合成覆盖五个组合匹配层级的候选列表，并引入一个 Rank-KL 目标来训练嵌入模型复现重排序器的细粒度排序。我们还提出一种分级评估协议，并在相同数据和调参预算下比较对比学习、成对 CoSENT 和列表式 Rank-KL。我们的比较表明，CoSENT 和 Rank-KL 都比对比学习更有效地利用了多层级监督，其中 Rank-KL 取得了最强的整体性能。在三个组合推理基准（COLA、SUGARCREPE++、NEGBENCH）上，CORE-RERANKER-8B 的总平均达到 82.7%，比 Jina-Reranker 高 10.7 个百分点，而 CORE-EMBED-8B 在所有评估的嵌入模型中取得了最佳总平均值（0.666）。这些改进还能迁移到 MCMR 基准上，同时不牺牲在 COCO 和 Flickr30K 上的检索性能。