随机机器学习实验的等价性检验与运行次数设计

arXiv:2610.23700v1 公告类型：新 摘要：关于两种训练方法表现同样出色的论断，往往仅建立在每种方法运行两次或三次所得的非显著差异之上。我们提出了一套协议及其检验效能理论，用于认证每次运行指标（如 AUROC，即受试者工作特征曲线下面积）在实践中的等价性。该协议基于一个两层（随机种子 × 项目）方差模型，将运行间离散度与项目层面的噪声分离开来。在预先指定的界限内进行等价性检验，可通过两个单侧检验（TOST）完成，等价地，也可通过检验置信区间是否位于该界限内完成；两层自助法则可覆盖复合统计量。一个闭式公式可将等价性界限和目标检验效能转换为每种方法所需的运行次数；其移位 t 分布改进版则根据实际实现的两层过程进行校准。在一个包含 270 个单元格的网格上进行的模拟，以及在非高斯随机种子分布下进行的模拟，都证实了该公式在与设计相关的范围内的有效性，该范围从每种方法运行五次开始。对于一个已发表的联合能量模型的四次运行结果，无法认证等价性主要是由设计决定的：当方差根据这四次运行进行校准时，每种方法运行两次的情况下，认证等价性的概率接近 3%；而即使在严格相等的情况下，要以 80% 的检验效能认证 0.01 AUROC，也需要每种方法运行十二次。第二个案例研究基于包含一千个随机种子的 CIFAR-10 模型库和 MultiBERTs，用真实的随机种子分布（在该范围内差异不超过 0.05）检验了该公式，并解决了运行两次或三次时无法判定的比较问题。在两阶段设计（先进行试点实验，再应用公式）中，我们的实验表明，使用试点方差的置信上界，可以显著减少采用其点估计时出现的样本量不足。