非平稳学习中的数据复用

arXiv:2610.10340v1 公告类型：cross 摘要：我们研究非平稳环境中的在线学习，目标是跟踪一个未知参数，该参数会在有限个重复出现的取值之间突然切换。参数的重复出现为审慎地复用过去的观测数据以提升算法性能提供了可能。然而，由于底层信号不断变化，且缺乏关于这些动态过程的信息，算法安全地复用数据的能力可能会受到限制。在本文中，我们量化了这类问题中的一些基本权衡，并表明它们与经典的偏差-方差困境具有某种相似性。具体而言，我们提出了一类任意时刻算法，称为 Exposure-Capped Reuse（ECR），结合了在线变更检测、兼容性检验和“污染”控制。我们刻画了 ECR 的遗憾值随不同取值的数量而非变化次数增长的情形，并推导出一个新的信息论下界，证明了 ECR 近似达到了极小极大最优性。这为数据复用的统计“价值”提供了严格的量化。