arXiv cs.LG精选72

应对解释忠实性评估准则之间的分歧

Navigating Disagreement Among Criteria for Evaluating Explanation Faithfulness

· 1小时前

精选理由

梳理解释忠实度评估标准的分歧,并提供结合具体场景选择和论证评估方法的实用框架。

AI 摘要

arXiv:2611.06846v1 公告类型:新论文 摘要:忠实性要求算法解释准确反映模型的行为。然而,现有的忠实性操作化方案可能对同一解释是否忠实得出不同结论,使开发者和审计人员不得不在相互冲突的评估之间作出选择。本文研究评估准则之间的分歧,并为评估解释忠实性提供一条切实可行的路径。我们首先识别忠实性操作化方案之间的差异。我们引入一个忠实性泛函,将这些方案的分歧定位于以下方面:解释对模型作出了什么主张,哪些比较与该主张相关,以及应如何汇总这些比较中的一致程度;同时,我们在该泛函框架内重构现有的评估准则。我们认为,这些重构支持将忠实性理解为模型与解释之间一种共同但尚未完全明确的关系,因此,这些差异反映的是一般性要求所留下的选择空间。由此,为一种操作化方案提供正当理由,就归结为为这些选择提供正当理由;在我们看来,这需要考虑解释层面、制度层面和规范层面的因素。我们通过一项关于不利行动通知的案例研究来支持这一论点,重构行业所提议流程中隐含的评估,并识别其中哪些选择可由该情境提供正当理由,哪些仍有待确定。我们的工作为审计人员和实践者提供了应对忠实性评估分歧的方法,也解释了为什么文献研究应预期存在多种操作化方案,同时展示了具体情境如何缩小这些方案的选择范围。更广泛地说,我们的分析表明,即使现有指标之间存在分歧,共同的忠实性要求仍可支持在具体情境中具有正当理由的评估。

查看原文(arXiv cs.LG)