基于概念的模型中的有害部分干预与良性信息泄漏

arXiv:2610.21750v1 公告类型：新 摘要：部署于高风险场景的人工智能系统日益需要支持有意义人工监督的模型。基于概念的模型（CMs）通过使用户能够检查和干预中间层的人类可理解概念，提供了一种颇具前景的框架。然而，概念干预可能反直觉地恶化下游预测，这种失效模式被我们形式化为干预危害。我们区分了对所有概念进行干预后的危害，以及部分干预下的危害，后者是更可能的实际使用场景。现代CMs通常通过在其中间概念表示中编码或泄漏额外的任务相关信息来实现较高准确率。近期研究认为，当概念表示满足充分性和局部性这两个条件时，这种泄漏对于干预危害而言可能是良性的。我们证明，这些标准并不足以保证概念干预能够改善下游性能。在受控环境和现实世界环境中，我们发现，概念监督不完整性与干预危害增加相关。值得注意的是，在所有概念均受到干预时对模型进行优化——这是一种此前提出的泄漏缓解目标——能够降低终点危害，但无法可靠地防止有害的部分修正。因此，我们引入一种互补的单调干预目标，直接惩罚部分干预轨迹中任务损失的增加。结合终点干预训练和单调干预训练，能够在保持概念预测性能和任务预测性能的同时，大幅降低部分干预危害的发生率和严重程度。