迈向视觉基础模型的快速解耦反事实

arXiv:2610.00895v1 公告类型：新 摘要：基础模型仍然容易受到虚假相关性和“Clever Hans”策略的影响。可解释机器学习能够在没有元数据的情况下，为分类器发现并移除这类策略。然而，对于基础模型，目前还没有这样的解决方案。我们提出了 Disentangled Diffusion Autoencoders（DiDAE）。DiDAE 通过条件扩散解码器封装一个冻结的基础模型。一个反事实样本就是沿着解耦字典中的某个方向进行一次闭式编辑，然后执行解码。该字典可以是有监督的（Procrustes），也可以是无监督的（奇异值分解、稀疏自编码器）。由于不需要梯度，DiDAE 的速度最高可达到现有技术的 2000 倍。我们在六个数据集上进行了评估，其中两个为合成数据集，四个为真实世界数据集。在其中三个数据集上依据预期目标设计的基准测试中，DiDAE 生成的反事实样本达到或优于现有技术；此外，它们还能通过反事实知识蒸馏（Counterfactual Knowledge Distillation，CFKD）修复下游分类器，其效果优于基于元数据的校正。同样的机制还可以将一个预训练字典与一个训练好的分类器进行匹配排序。它能够返回分类器实际读取的少数几个方向，并通过能够翻转决策的反事实样本对每个方向进行因果验证；对于教师标记为虚假的方向，还能据此修复分类器。我们在随论文一同发布的开源 Peal 库中实现了即插即用的工作流。借助公开字典和预训练解码器，剩下的工作仅需对分类器进行低成本的线性蒸馏及其自身的微调。