经对抗训练的线性 Transformer 是高斯混合模型的最优鲁棒上下文学习器
Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures
精选理由
揭示对抗预训练能将鲁棒性迁移到新任务，支持无需再训练的稳健上下文学习。
AI 摘要
arXiv:2610.07754v1 公告类型：新 摘要：对抗训练是抵御对抗攻击最可靠的防御手段之一，但其高昂的计算成本通常必须针对每项任务重新付出。鲁棒基础模型提供了一种有前景的替代方案：先对模型进行一次对抗预训练，然后通过轻量级适配将其鲁棒性迁移到下游任务。然而，一个根本性问题仍未解决：在无需进一步对抗训练的情况下，预训练期间获得的鲁棒性是否能够迁移到未见过的任务？在本研究中，我们对此问题给出了肯定回答。一个经过大规模对抗预训练的单一模型，可以在无需额外任务特定训练的情况下，在新任务上实现最优鲁棒性。具体而言，我们证明，对于一类高斯混合分类任务，一个在跨任务场景下接受对抗训练且具有足够深度的线性 Transformer，能够通过从干净示例中进行上下文学习，在渐近意义下达到此前未见任务上的鲁棒贝叶斯误差。相比之下，标准训练的模型无法做到这一点。我们还分析了梯度流下的收敛性、准确率与鲁棒性之间的权衡，以及示例复杂度。