在多大的训练规模以下，深度表格生成器不再胜过简单基线？针对临床数据集和标准数据集规模梯度的预注册基准测试

arXiv:2610.03500v1 公告类型：new 摘要：深度表格生成模型通常在包含数万行的数据集上进行基准测试，而临床数据集往往只有数百行。我们进行了预注册的规模梯度基准测试，以找出这两个场景开始分化的临界点：从8个公开数据集中分别抽取200至20,000行训练数据，使用7种生成器（独立边际分布、高斯 copula、SMOTE、无条件 SMOTE、CTGAN、TVAE、TabDDPM），采用固定的20次试验调参预算和5个评估随机种子；此外，还使用4个原生规模较小的临床数据集进行真实规模测试，总计完成2,220次预先承诺的运行。主要指标是在合成数据上训练、在真实数据上测试的固定分类器的 AUROC。在24个（数据集，深度模型）组合中的23个组合里，无论训练规模如何，在我们测量的任何规模下，深度模型都从未以超过随机种子噪声的幅度胜过最佳简单基线。最佳基线在49个（数据集，规模）单元格中的40个获胜。我们预注册的预测认为，深度模型在小规模数据上的排名会不稳定；这一预测被证伪：在低于5,000行的相邻规模梯级之间，平均 Kendall tau 为0.806，高于我们设定的0.8阈值，而且稳定性在最小规模时最高，而不是最低。有一点限制适用于上述全部结果：在81%的单元格中，排名前两种方法之间的差距小于不同随机种子之间的变化。最后，原生小规模临床数据集上的方法排名，与从大型数据集中抽样得到的数据上的排名仅有中等程度的一致性（平均 tau 为0.57至0.64），这对能否用抽样后的大型数据集代表小型数据集提出了质疑。全部2,220个结果文件、预注册文件及其哈希值，以及能够根据这些文件重新生成每一幅图和每一个数值的代码，均已公开。