利用 Wasserstein 分布鲁棒优化改善 Mixup 校准

arXiv:2506.17874v3 公告类型：replace-cross 摘要：在许多现实应用中，确保深度神经网络（DNNs）的鲁棒性和稳定性至关重要，尤其是在面临各种输入扰动的图像分类任务中。尽管基于 Mixup 的数据增强技术已被广泛用于提升训练后模型对这些扰动的抵御能力，但我们的实验揭示了一个重要的损坏鲁棒性与校准之间的权衡：更强的基于 Mixup 的增强可以提高模型对损坏数据的鲁棒性，却会显著增大期望校准误差（ECE）。为应对这一挑战，我们提出了 DRO-Augment 框架，将 Wasserstein 分布鲁棒优化（W-DRO）与多种基于 Mixup 的数据增强策略相结合，以缓解这一权衡。我们的方法在采用强 Mixup 增强时显著降低了 ECE，同时在 CIFAR-10、CIFAR-100、CIFAR-10-C 和 CIFAR-100-C 上基本保持了损坏数据上的分类准确率。在理论方面，我们为使用增强数据和变分正则化损失函数训练的神经网络建立了新的泛化误差界，该损失函数与 W-DRO 问题密切相关。此外，我们还提出了一个改进的 CIFAR-C 基准，修正了损坏强度不一致的问题，为未来的鲁棒性研究提供更可靠的评估。