稀疏化随机性，而非容量：通过先验尺度的深度权重分解实现部分随机性
Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales
精选理由
通过学习随机与确定参数的分工，在保持密度建模能力的同时减少随机参数，提升贝叶斯神经网络效率。
AI 摘要
arXiv:2610.09886v1 公告类型：交叉发布 摘要：贝叶斯神经网络无需具有完全随机性即可成为通用条件密度逼近器，但哪些参数应具有随机性仍是一个开放问题。我们通过对先验尺度（即参数先验的标准差）进行深度权重分解来学习这种划分，同时利用最大均值差异目标将函数先验拟合到高斯过程。先验尺度低于阈值的参数会变为确定性参数，并在推断过程中进行优化，因此该正则化项稀疏化的是随机性，而非容量。我们给出了一个可在线性时间内检验的通用条件密度逼近能力证书，并提供了证书不成立时的最小修复方案。我们进一步证明，常见的对部分参数采样、对其余参数进行优化的混合方案，是针对 II 型最大后验目标的随机逼近，而耦合步长可能留下不会随着步长缩小而消失的跟踪误差。在双峰目标分布上，学习得到的划分在所有预算下均保持接近无约束基准，且对阈值不敏感；相比之下，将相同先验尺度随机分配到各层的掩码方案，其表现最多差两个数量级。在 UCI 基准上，我们的方法在保持约一半参数为确定性参数的同时，实现了与完全随机网络相当的性能。