时机决定一切：推断持续更新模型中的时序成员身份
Timing is Everything: Inferring Temporal Membership in Continually Updated Models
精选理由
揭示持续更新模型可能泄露样本参与训练的时间，并评估攻击效果与隐私防护和模型效用之间的权衡。
AI 摘要
arXiv:2611.05781v1 公告类型：交叉发布 摘要：持续更新模型已成为机器学习系统部署中的常见做法。然而，动态训练行为带来了现有研究尚未充分应对的新风险。本文首次对持续更新的深度学习模型中的时序隐私风险进行了系统性研究。我们形式化定义了持续更新模型中的时序成员身份概念，随后定义了时序成员身份推断攻击，旨在以时间戳级和时间区间级两种粒度，推断单个样本是否参与过模型训练以及何时参与训练。为此，我们提出了 TMIA，这是一种新型黑盒攻击，利用双向 LSTM 从连续多次更新中观测到的模型输出推断时序成员身份。通过在三个语言模型和三个图像分类模型上开展大量实验，我们表明 TMIA 非常有效，且显著优于现有基线方法。最后，我们评估了三种潜在防御措施，揭示了隐私保护与模型效用之间的权衡。