样本最优的 Fréchet Inception Distance 估计

arXiv:2610.07114v1 公告类型：新 摘要：Fréchet Inception Distance（FID）被广泛用于评估生成模型，但其经验插件估计量存在有限样本偏差 [BSAG18, CF20]。我们研究了在一个分布已知的情况下，对于均值距离和协方差均有界的 $d$ 维高斯分布，将 FID 估计到误差 $\epsilon$ 所需的样本复杂度 $n$。我们的贡献有三点。（1）我们为经验插件估计量建立了紧的有限样本偏差和方差界，分别为 $\Theta(\frac{d^2}{n})$ 和 $\Theta(\frac{d}{n} + \frac {d^2} {n^2})$，从而证明其样本复杂度至少为 $\gtrsim d^2$。（2）为消除经验插件估计量的偏差，我们将 [CF20] 中的 ${\rm FID}_\infty$ 估计量推广到任意阶数 $k$ 的外推方法。进一步地，在我们的框架下，我们证明任意 $k$ 阶外推的偏差和方差界分别为 $\Theta(\frac{d^{k + 2}}{n^{k + 1}})$ 和 $\Theta(\frac d n + \frac{d^2}{n^2})$，且这些界是紧的。（3）我们提出 Relative Taylor Debiasing（RTD），这是一种新的计算高效的 FID 估计算法，其去偏技术受 U-统计量启发。我们证明 RTD 达到 $O(\frac d {\epsilon^2})$ 的样本复杂度，并证明这是最优的。我们还对新估计量进行了互补性的实证评估。在合成高斯分布上的实验验证了预测的残余偏差，并支持我们界的紧性。在使用 Inception 嵌入的 ImageNet 上，在标准的 50K 样本预算下，RTD 达到了最低的平均估计误差；同时，我们的二阶方差感知外推估计量（VALE$_2$）仅使用 10K 个样本，就达到了与 50K 样本下的 ${\rm FID}_\infty$ 相当的准确度。