广义类别发现中的语义错配：评估与缓解

广义类别发现（GCD）旨在同一个无标签集合中同时完成旧类别识别和新类别发现。早期方法通过聚类处理这两个目标，并使用全局匈牙利（GH）匹配评估可交换的预测索引。近期方法采用可训练的参数化头，对旧类别识别使用监督信号，并针对新类别采用面向发现的目标。通过这种方式，输出空间变为部分可交换：旧索引具有语义锚定，而新索引仍然可交换。然而，这些方法仍然采用全局匹配，这可能将已锚定的旧索引重新分配给其他类别，从而掩盖部分预测错误。通过实证研究，我们惊讶地发现，这种重新分配会使新类别准确率被高估最多25.63个百分点。我们将这一现象称为语义错配，并进一步推导出一个置换环条件，用于刻画语义错配何时能够提高全局匹配得分。为解决这一问题，我们提出 Semantics-Preserving Evaluation（SPE），保留旧索引的监督语义，并将匈牙利匹配限制在新类别区域内。此外，我们提出 Mismapping-Mitigating Optimization（MMO），通过结合用于旧/新类别路由的区域平衡损失（RBL）和鼓励新原型之间正交的新颖性多样性损失（NDL），缓解可能导致语义错配的预测错误。从理论上看，我们证明，最小化这两个损失可以在残差项可控的情况下，收紧语义错配所导致的虚假准确率增益的上界。在 GH 和 SPE 两种评估设置下的实验证明了所提方法的有效性。