EGiME：少样本学习中的熵引导模型评估

arXiv:2610.27029v1 发布类型：新 摘要：预训练模型的特征提取质量决定了下游迁移学习的上限，然而少样本模型选择仍然困难：在稀缺标签上进行监督评估不稳定，并会导致波动的模型排名。我们提出熵引导模型评估（EGiME），这是一种半监督评价准则，无需训练任何分类器，即可根据候选模型特征空间的聚类结构对其进行评估。EGiME对所有有标签和无标签样本执行 $K$-means 聚类，然后结合两种熵项：衡量全局可分性的簇间熵，以及衡量有标签锚点紧凑性的簇内熵，并通过一种逆频率权重将二者融合，以突出较小的簇。在五个少样本基准和九个预训练模型上，EGiME与全样本池真实准确率取得了0.966的相关性得分；该真实准确率通过对 K-means、KNN 和 SVM 的准确率取平均获得。在4\%--20\%的标注比例下，与经过交叉验证的监督基线相比，它生成的模型排名稳定性显著更高，证明了在数据稀缺条件下进行预训练模型选择时，它是传统监督评估的一种实用替代方案。