Cocoon：一种采用相关噪声进行差分隐私训练的系统架构

arXiv:2510.07304v2 公告类型：替换交叉版本 摘要：机器学习（ML）模型会记忆并泄露训练数据，给数据所有者带来严重的隐私问题。采用差分隐私（DP）的训练算法正日益受到关注，被视为一种解决方案。然而，这些算法在每次训练迭代中添加噪声并降低准确率，限制了其在现实世界中的应用。为提高准确率，一类新方法添加经过精心设计的相关噪声，使噪声在迭代过程中相互抵消。我们对这些新机制进行了广泛的特征研究，并表明：当模型相对较大，或与硬件容量相比使用较大的嵌入表时，这些机制会产生不可忽略的开销。基于上述分析，我们提出了 Cocoon，一种采用相关噪声进行高效训练的框架。Cocoon 在 CPU、GPU 和内存扩展模块之间存储并处理大量噪声历史记录，针对稀疏嵌入表引入优化，并利用即将商业化的近内存处理（NMP）设备。在配备基于 FPGA 的 NMP 设备原型的真实系统上，Cocoon 将性能提升了 1.23–10.82 倍。