arXiv cs.LG精选77

可解释性与元归因的元博弈

The Metagame of Interpretability and Meta-Attributions

· 6天前

精选理由

新颖度 88 / 深度 84,来自 arXiv cs.LG。

AI 摘要

arXiv:2605.06295v2 公告类型:替换 摘要:如何从第一性原理出发,将任意归因方法推广到捕捉交互作用?我们通过元博弈回答这一问题:这是一个用于量化模型解释中二阶交互效应的概念框架。我们将特征 \(i\) 的归因值 \(\phi_i\) 视为其他特征之间的合作博弈,并计算其沙普利值,用以衡量特征 \(j\) 对特征 \(i\) 的归因产生多大影响,从而得到有向元归因 \(\varphi_{j \to i}\)。元归因不是直接分解模型,而是分解归因本身,因此能够将任意基于梯度或注意力的方法扩展到交互作用,同时统一基于移除的扰动与模型内部信息。从理论上看,我们证明了元归因之和等于其所解释的一阶归因;事实证明,沙普利交互和积分 Hessian 会隐式地执行这种层次化分解。在实证方面,我们展示了元归因在多种可解释性应用中的作用:(i)量化指令微调语言模型中的词元交互;(ii)解释视觉-语言编码器中的跨模态相似性;(iii)解读多模态扩散 Transformer 中的文本到图像概念。

查看原文(arXiv cs.LG)