LAYERSCOPE：视频与多模态学习表征的逐层特征分析

我们提出 LAYERSCOPE，一种无标签、逐层的框架，旨在刻画模型在视频和多模态场景中学习到的表征。使用最终层或中间层的表征评估下游性能，通常需要大量标注数据、反复进行面向具体任务的评估以及大量计算。为解决这些局限，LAYERSCOPE 使用局部、全局、分布和基于对应关系的几何指标，在无需任务特定标签的情况下，比较模型内部及模型之间逐层表征的结构。我们在来自 MVEB/MVEB+ 的视频和多模态分类、聚类以及文本到视频检索任务上，评估了七种架构各异的模型。我们发现，中间层表征的表现可能优于最终层表征和模型默认输出。我们还发现，没有任何单一几何指标能够持续稳定地预测下游性能，但不同模型家族之间会呈现出各自独特的逐层几何特征。LID 与性能之间的关系取决于具体任务，而 RankMe 对分类和聚类提供了最有力的度量，但并非通用的层选择器。我们还发现，相较于仅使用分布距离，考虑配对关系的指标能够更好地解释检索性能。因此，LAYERSCOPE 为跨模型、跨层比较表征提供了一个框架，从而能够在视频和多模态场景中开展更加系统的评估。