通过 Gibbs 概率测度实现训练数据集聚合与精确机器遗忘的统一框架

arXiv:2611.05544v1 公告类型：交叉发布 摘要：本文研究了 Gibbs 概率测度上的三种运算：重归一化、归一化对数线性组合和嵌套。研究表明，所得测度仍为 Gibbs 概率测度，并给出了其目标函数、参考测度和正则化因子的显式表达式。进一步地，这些测度被刻画为一类优化问题的唯一解；这类问题涉及原始目标函数的线性组合，并采用相对熵正则化或施加相对熵约束。当参考测度为概率测度时，本文建立了这三种运算的几何解释，涉及勾股恒等式和指数测地线。一个核心结果是 Gibbs 概率测度的嵌套与归一化对数线性组合之间的等价性。随后，这些结果被应用于使用 Gibbs 算法的监督机器学习，其中 Gibbs 算法由 Gibbs 概率测度表示。在这一背景下，通过嵌套或对数线性组合，可以利用在局部数据集上训练的 Gibbs 算法，构造出在所有局部训练数据集的聚合数据集上训练的新 Gibbs 算法。值得注意的是，这些运算的参数决定了聚合数据集中每个训练数据点的权重。%研究表明，对局部 Gibbs 概率测度的运算能够控制训练数据的贡献。利用这一发现，可以实现：(a) 集中式、去中心化和联邦学习系统中的精确机器遗忘；以及 (b) 在去中心化和联邦学习中实现与集中式学习等效的性能，即生成在所有局部数据集的聚合数据集上训练的算法。