AnyBottle：一种仅保留真正所需概念的方法

arXiv:2610.08552v1 公告类型：交叉收录 摘要：概念瓶颈模型（CBMs）通过人类可解释的概念进行预测，使预测过程可检查、可干预，但最初需要概念标注。免标注变体消除了这一要求，但通常使用庞大的概念词表，且词表在训练和推理时均保持静态，导致瓶颈规模超出任何任务或预测的实际需要，也更难检查。我们提出 AnyBottle，一套用于构建紧凑、任务特定的 CBMs 的统一方法。AnyBottle 仅需一个冻结的骨干网络和一个无监督概念池，例如稀疏自编码器。随后，在同一骨干网络上训练的黑盒教师模型引导概念选择：每轮添加最能解释瓶颈当前失误的概念，并将候选概念限制在教师模型与学生模型预测不一致的区域内。按照这一选择顺序进行嵌套随机失活训练后，最终的瓶颈可基于概念序列的任意前缀准确预测，因此在推理时，对于较早就能有把握地判断的输入，使用较少概念；对于困难输入，则使用更多概念。由于所有阶段均不依赖特定模态，迁移到新领域和新任务时只需更换骨干网络和概念池。在六个视觉数据集、两个文本数据集以及两种教师模型范式上的实验表明，与免标注基线相比，AnyBottle 生成的瓶颈所含概念更少、概念一致性更高，同时性能接近黑盒参照模型。总体而言，AnyBottle 表明，免标注并不意味着必须扩大规模：通过发现得到的小型词表，其表达能力可以媲美规模大得多的固定词表。