在合成数据上训练何时能被证明有效？

arXiv:2610.28036v1 公告类型：新 摘要：高质量训练数据是机器学习中的主要瓶颈之一，这推动了人工生成数据的日益广泛使用。我们研究在共享条件标签分布的情况下，使用合成数据训练的二元分类器何时能够成功迁移到真实分布。首先，当真实协变量分布相对于合成分布绝对连续，且密度比受到控制时，我们推导出有限样本超额误差界。其次，我们研究部分奇异和完全奇异的情形，即真实分布在合成分布之外仍有一定质量。若假设类具有足够的表达能力，仅凭合成风险无法对真实世界误差进行一致控制：即使两个分布在 Wasserstein 距离意义下可以任意接近，分类器仍可能在合成数据上接近最优，却在未覆盖的真实区域上趋近最坏情况误差。对于假设以及条件标签概率的对数几率均为 Lipschitz 的函数类，我们可以根据真实样本落在合成数据覆盖范围之外的概率恢复一个界，从而即使在完全奇异的情形下也重新获得迁移保证。实验在受控的低维设置中，以及在四种当前最先进的生成器生成的 32,200 张真实 ImageNet 图像对应图像上验证了这一点：一个对抗性分类器在合成域上的误差仅为 0.5%，但在真实域上的误差达到 99.25%；而采用常规方式训练的架构，其合成数据测试误差与真实数据测试误差呈正相关。使用合成数据时应在较大的样本量下进行预算，并在真实数据上验证模型。