基于核函数的实验研究外部有效性

arXiv:2610.13625v1 公告类型：cross 摘要：一项研究的外部有效性，是指其研究结果能够推广到未见过的实验条件（例如数据集）的程度。我们将研究结果与其研究问题一同形式化，并将外部有效性定义为：研究的两个相互独立且规模相同的重复实验所产生的结果，其最大均值差异（MMD）低于给定容差的概率。这种方法的核心在于选择结果空间以及适用于 MMD 的再生核；它足够灵活，可以应用于多种不同类型的结果和研究问题。此外，我们建立了研究规模与 MMD 分位数之间的渐近幂律关系，并利用该关系根据小规模初步研究估计具备外部有效性的研究所需规模。我们将该框架应用于带有并列名次的排名问题，并讨论适用于不同研究问题的核函数。在现有案例研究和模拟设计的新研究上的实验展示了该框架的适用性。我们将代码作为 genexpy Python 模块的一部分发布。