arXiv cs.LG精选79

迈向合理的概念瓶颈模型

Towards Reasonable Concept Bottleneck Models

· 5天前

精选理由

融合概念关系与先验知识,提升概念缺失场景下模型的性能、可解释性与干预能力

AI 摘要

arXiv:2506.05014v3 发布类型:替换 摘要:我们提出了一种新颖、灵活且高效的框架,用于设计概念瓶颈模型(CBM),使实践者能够在模型进行预测时,将其关于概念—概念($C-C$)关系和概念—任务($C \to Y$)关系的先验知识与信念显式编码并扩展到模型的推理过程中。由此得到的概念推理模型(Concept REAsoning Models,CREAMs)能够在架构层面编码任意类型的 $C-C$ 关系,例如互斥关系、层级关联和/或相关性,以及可能较为稀疏的 $C \to Y$ 关系。此外,CREAM 还可以选择性地纳入一个经过正则化的旁路通道,以补充可能不完整的概念集合,在保持具有竞争力的任务性能的同时,促使预测以概念为依据。为评估此类设置下的 CBM,我们提出了一种与 $C \to Y$ 无关的指标,用于量化预测部分依赖旁路通道时的可解释性。在实验中,我们表明,在不增加额外计算开销的情况下,CREAM 模型支持高效干预,能够避免概念泄漏,并在概念缺失时达到黑盒级别的性能。我们进一步分析了可选旁路通道对可解释性和可干预性的影响。重要的是,即使在仅有有限数量概念可用的场景中,旁路通道也能使 CBM 保持有效。

查看原文(arXiv cs.LG)