TrustMix：分布偏移下预训练模型的平稳退化

arXiv:2611.07206v1 公告类型：新论文 摘要：在训练域之外进行预测，必然需要对真实值如何外推作出假设，但在大多数神经网络中，这些假设仅通过架构隐式体现。我们提出 TrustMix，这是一种轻量级事后处理方法，可使预训练模型的外推行为显式化且可控。TrustMix 将预训练模型生成的预测分布与用户指定的回退分布 $p_0(y|x)$ 相结合，使预测分布随着分布外（OOD）偏离统计量的增大而趋向 $p_0(y|x)$。TrustMix 可实现平稳退化：随着 OOD 信号增强，预测分布逐渐收敛至回退分布。回退分布 $p_0(y|x)$ 可以反映已有的领域知识，也可以依赖与领域无关的平稳性假设。TrustMix 无需重新训练基础模型，并且适用于回归和分类问题。我们在多种合成及真实世界的分布偏移场景下评估了 TrustMix，涵盖表格、图像和自然语言处理任务。我们在 CIFAR-10/100 和 ImageNet 等数据集上，以及包括卷积神经网络（CNNs）和 Transformers 在内的多种架构上测试了 TrustMix。TrustMix 在分布内保持竞争力的同时，改善了分布偏移下的预测不确定性，在回归任务的预测似然和分类任务的校准方面均取得提升。最后，我们将 TrustMix 用作贝叶斯优化的代理模型，表明它能够为决策应用提供有用的预测分布。