你只需要一次排列:快速、确定性的特征重要性评估与模型压力测试
One Permutation Is All You Need: Fast, Deterministic Feature Importance and Model Stress-Testing
精选理由
以单次确定性置换快速稳定评估特征重要性,揭示隐性依赖并助力模型治理
AI 摘要
arXiv:2512.13892v3 公告类型:替换交叉 摘要:可靠地估计机器学习模型中的特征贡献,对于实现透明性、算法公平性和监管合规至关重要。尽管置换特征重要性被广泛使用,但经典实现依赖反复进行 Monte Carlo 随机打乱,从而带来显著的计算开销和随机不稳定性。本文表明,用单个最大-最小秩最优的确定性排列替代 $B$ 个随机排列,在消除估计方差的同时,能够保持或提高与真实重要性的相关性,并将复杂度从 $O(B \cdot n \cdot p)$ 降低至 $O(n \cdot p)$。对于位置-尺度特征分布,我们形式化证明了该方法能够精确恢复经尺度调整的线性回归系数;在模型敏感性为凹函数的情况下,还能改善重要性估计。我们沿着两个互补维度扩展了这一确定性框架。首先,Systemic Feature Importance(SFI)整合经验特征相关性,通过代理变量量化对特征的间接依赖。其次,Importance Direction 通过衡量协变量位移与输出变化之间的一致性,将标量重要性扩展为带符号的方向性表示。在近 200 个模拟场景中的广泛实证验证表明,在高维和低信噪比情形下,该方法具有更优的偏差-方差权衡。最后,两个真实世界的信用风险案例研究表明,将 SFI 与 Importance Direction 结合,能够帮助从业者和监管机构同时审计模型对受保护属性的隐性依赖程度及其净方向,从而为模型治理提供一种有原则、透明且可扩展的框架。