关于时间序列预测中的机器遗忘
On Unlearning for Time-series Forecasting
精选理由
介绍面向时间序列的机器遗忘方法,兼顾删除效果与预测性能。
AI 摘要
arXiv:2610.02865v1 公告类型:新摘要:时间序列预测广泛应用于敏感领域。在这些场景中,模型通常基于用户级或实体级的纵向记录进行训练,而这些记录之后可能因包含敏感或专有信息,或因传感器故障而损坏,需要被移除。为在无需高成本重新训练的情况下处理此类删除请求,机器遗忘作为一种切实可行的隐私保护与数据治理机制,已得到广泛研究。然而,机器遗忘在时间序列预测中的应用尚未得到充分实现,主要原因在于以下独特挑战:基于梯度的遗忘可能不稳定,因为被删除的观测会参与多个具有因果连接的预测窗口,导致参数更新传播到请求删除的时间区间之外,并降低保留数据上的预测效用。标签引导的更新提供了一种更可控的替代方案,但连续且依赖上下文的预测缺乏合适的替代目标,而精确重训练得到的输出在遗忘过程中又无法获得。此外,保留数据对某个被删除时间模式的支持程度高度不均衡。一些受影响的窗口在保留数据中仍能找到结构相似的对应样本,而另一些窗口则变得代表性不足或孤立。我们提出了 RDTU,一种用于时间序列遗忘的残差扩散框架。RDTU 首先利用基于保留集的神经切线核预测器,获得与删除操作相容的基础预测。随后,它利用保留参考数据的体积贡献,量化每个受影响窗口的全局与局部结构支持程度。接着,扩散模型生成残差修正,以估计反事实预测,从而得到引导轻量级模型更新的伪标签场。实验表明,RDTU 始终能够生成与精确重训练结果最为接近的遗忘模型。