99%准确率的隐性成本：对 Telco Customer Churn Benchmark 可信度的审计

arXiv:2610.00118v1 公告类型：新增 摘要：在 IBM Telco Customer Churn 基准数据集（n = 7,043）上，客户流失预测通常报告超过95%的测试准确率，其中被引用最多的已发表研究报告了99.01%的准确率。我们从四个方面审计该基准数据集的可信度问题，而这些问题在以准确率和F1为核心的主流报告方式中是不可见的。第一，在数据集划分之前使用SMOTE，会使十个分类器和十五个随机种子下的流失类别F1平均虚高13.1个百分点（每个分类器的Wilcoxon p < 10^-4）；采用相同的泄漏式流水线顺序并结合类别加权则不会产生虚高，从而将影响定位于SMOTE的几何构造。我们直接测量了其作用机制：合成训练样本中约36%是测试集实例的最近邻插值。第二，TotalCharges字段在很大程度上可由tenure乘以MonthlyCharges确定（R2 = 0.999）；移除该字段后，准确率变化不到0.2个百分点，但TreeSHAP将其在平均绝对归因中的排名列为第九——这种模式会实质性地扭曲基于SHAP的解释。我们提出使用R2 > 0.95作为建模前诊断标准。第三，在包含十五个随机种子的校准审计中，等距回归是最强的默认方法；对于预测概率分布呈双峰的类别加权树集成模型，温度缩放会失效。第四，在50 USD挽留优惠和24个月CLV代理指标下，成本最优决策阈值约比F1最优阈值低5至10倍，每1,000名客户可节省约77,000 USD。我们在 Iranian Telecom Churn（域内）和 Bank Customer Churn（跨域）上复现了F1和F2：F1具有良好的泛化性；F2仅能在电信领域内泛化。我们将这些发现综合为一份包含四个组成部分的报告清单——流水线披露、冗余诊断、校准审计和成本敏感阈值——并发布了可复现的实现。