通过与模型无关的概念字典重新审视可解释人工智能
Revisiting Explainable AI through Model-Independent Concept Dictionaries
精选理由
用模型无关的概念字典定位决策依据与数据伪影,让复杂AI解释更可理解、可行动。
AI 摘要
arXiv:2610.10301v1 发布类型:新 摘要:现代 AI 应用依赖于日益复杂的模型。可解释人工智能(XAI)已发展成为一系列旨在提升模型透明度的技术。然而,现有的 XAI 方法通常假设输入特征本身具有可解释性,或者依赖难以刻画且高度依赖具体架构的中间内部抽象,从而阻碍了其在不同模型间的一致应用。为解决这些局限,我们提出 DictXAI,这是一种通过字典直接在输入域中定义概念的方法。该字典是一个规模庞大且可能过完备的预定义元素集合,其中每个元素都具有可解释的含义。在技术层面,DictXAI 首先计算输入的稀疏编码,然后将模型的预测归因于相关的字典元素。我们展示了 DictXAI 解释的可操作性:这些解释能够将 AI 故障(例如 Clever Hans 效应)直接归因于数据中可识别的伪影模式,同时促进人类与 AI 在复杂生物医学信号上的对齐。我们还进一步证明,该方法能够适用于多种字典,包括学习得到的图像基、为心电图分析定义的解析波形,以及通过实验采集的字典元素。总体而言,我们的结果表明,与经典 XAI 方法或现有的基于概念的方法相比,DictXAI 能够提供更具可解释性、更具可操作性且与模型架构无关的洞见。