超越边缘监测：面向大规模电子商务运营中数据概念漂移的分布式联合分布检验

arXiv:2610.08132v1 公告类型：交叉发布 摘要：概念漂移威胁着生产环境中的机器学习，但多变量双样本漂移检测器在大规模场景下的实际表现仍缺乏充分研究。现有基准很少涉及工业运营数据集中常见的数亿行数据和高基数特征。我们在三个互补环境中评估了五种多列双样本检验方法（边缘方法、基于投影的方法和核嵌入方法）：Harvard Dataverse、经过验证的 Failing Loudly 复现（平均绝对误差介于 0.030 至 0.053 之间），以及基于 Trendyol 的 1.375 亿行集合排序特征表构建的新型合成注入基准。通过在两种严重程度与影响范围组合设定下测试四类漂移，我们证明，在 Apache Spark 上结合随机傅里叶特征的分布式最大均值差异方法具有稳健的可扩展性。在强漂移设定下，采用经过校准的阈值并对四类漂移取平均后，该方法与预期漂移幅度的 Pearson 相关系数达到 r = 0.940，真阳性率为 80.4%，假阳性率为 3.2%。相比之下，逐维 Kolmogorov-Smirnov 检验因非对称抽样下类 ID 列导致的统计量饱和而失效，这揭示了大规模抽样设计的一项关键约束。在弱漂移配置下（实际翻转比例不超过 0.57%），各检测器难以实现可靠区分，这凸显了未来开展基于强度网格的统计功效分析的必要性，以区分根本性的灵敏度界限与随规模变化的阈值偏移。