arXiv cs.LG精选76

针对在滞后数据快照上训练的模型的差异化刷新策略:从单一年龄等价极限到最优分段分配

Differential Refresh Policies for Models Trained on Lagging Data Snapshots: From a Single-Age Equivalence Limit to an Optimal Per-Segment Allocation

· 6天前

精选理由

深度 91 / 新颖度 88,来自 arXiv cs.LG。

AI 摘要

arXiv:2610.09519v1 发布类型:新 摘要:生产机器学习模型是有时间边界的训练快照所派生出的产物:部署后的模型是训练截面上的物化视图,并且从构建完成的瞬间起就开始老化。常见的应对方式是用自适应触发器替代固定的重新训练周期——当累积的源风险超过阈值时,根据加权陈旧度分数触发重新训练。我们证明,这并不是正确的着力点,并找到了真正应该优化的方向。首先是一个等价极限:任何基于单一共享全局训练数据年龄、且为静态严格单调函数的刷新触发器,在运行层面都等价于经过校准的统一年龄计时器。因此,无论全局陈旧度预算对分段、数据源和敏感度的加权多么复杂,都不会提供时钟本身不具备的调度信息。该极限也揭示了如何突破这一限制:对各个分段进行差异化刷新,为每个分段设定独立的年龄和刷新间隔;当刷新成本可在分段之间分离时(例如增量训练或分段模型),这种方式便具有实际意义。我们求解了由此产生的预算分配问题。在高频刷新情形下,每个分段的最优刷新速率与其风险 $w_j \lambda_j$ 的平方根成正比(即权重乘以变化速率);在相同刷新预算下,最优策略的成本从不高于统一计时器,并且通过闭式的 Cauchy-Schwarz“统一化代价”优于后者:对于同质工作负载,该代价为零;随着异质性增加,代价也会增大。在采用真实 Poisson 变化事件的离散事件仿真中,在刷新预算相同的情况下,最优策略相较统一计时器将实际加权陈旧暴露降低了 8–29%,并在 86–100% 的随机种子上胜出;朴素的暴露阈值策略则无法做到这一点,表明真正起作用的是分配方式;即使速率估计存在 50% 的噪声,这一优势仍然存在。模型刷新中的杠杆不在于更好的分数,而在于更好的行动。

查看原文(arXiv cs.LG)