ShapleyOG:利用奇高斯过程快速自适应估计 Shapley 值
ShapleyOG: Fast Adaptive Shapley Value Estimation with Odd Gaussian Processes
精选理由
以更低计算开销自适应估计 Shapley 值,让高效归因应用于更多复杂机器学习任务。
AI 摘要
arXiv:2611.07173v1 公告类型:交叉发布 摘要:Shapley 值是机器学习中进行归因的核心工具。由于精确计算 Shapley 值需要在数量呈指数增长的参与者联盟上评估待解释的合作博弈,因此通常只能通过有限次数的评估来估计。近期,ShaplEIG 表明,与经典估计器相比,自适应选择待评估的联盟能够显著提高样本效率。然而,这需要采用序贯过程:每次迭代都重新拟合博弈的高斯过程代理模型,并选择关于 Shapley 值的期望信息增益最大的联盟。由此产生的计算开销使其仅适用于评估成本高、评估预算低的博弈。为克服这一局限,我们提出利用奇高斯过程快速自适应估计 Shapley 值的方法(ShapleyOG)。ShapleyOG 利用了 Shapley 值仅取决于博弈奇分量这一事实。我们证明,在成对采样下,仅针对该分量构建高斯过程代理模型,就能用一半的观测获得相同的 Shapley 值后验分布和联盟选择准则。此外,ShapleyOG 仅在稀疏安排的迭代轮次重新拟合代理模型,并在其间高效更新选择准则;它还将基于数值求积的计算方案扩展至 Shapley 值的先验协方差,从而实现精确计算或成本更低的近似计算。在针对多种博弈开展的大量实验中,ShapleyOG 达到了与 ShaplEIG 相当的估计精度,同时将其开销最多降低了三个数量级。因此,即使单次评估仅耗时十分之一秒,且数千次评估的预算已足够,ShapleyOG 也能在相同总计算时间下优于最先进的非自适应估计器,从而拓宽了自适应联盟选择适用且具有收益的范围。