重新思考无需权重扰动的 Neural Thickets

Neural Thickets 假说认为，预训练语言模型在权重空间中位于任务专属专家的密集邻域内，而随机高斯扰动可以将这些专家发掘出来。我们复现了报告中的性能提升，但表明这些提升并不需要这一几何解释。仅扰动单个解码器模块就能恢复大部分改进；与此同时，在模型完全冻结的情况下，向其输出 logits 添加随机偏置，在大多数推理任务上的效果可媲美甚至超过全权重扰动。这表明，一种基于输出多样性、基于验证集的选择和投票的替代解释是可行的。我们将这一观点形式化为 Perturb-Select-Vote（PSV），这是一种通用流程：生成受扰动的预测器，在小型验证集上选出表现优异的成员，并聚合它们的预测结果。这种解释将 Neural Thickets 与已有的推理时方法联系起来，包括采样、自洽性和验证器引导的选择。一阶分析进一步表明，小幅权重扰动主要通过其引起的 logit 偏移发挥作用。我们将这一分析扩展到视觉领域，在域偏移情况下，logit PSV 能显著提升性能，包括在地球观测任务上；而全权重扰动只能带来很小的额外收益。总体而言，这些结果表明，原本归因于权重空间邻近专家的性能提升，也可以通过输出多样性、选择和投票获得。logit PSV 在模型完全冻结的情况下实现了这些优势，为语言和视觉领域中的全权重扰动集成提供了一种简单且无需训练的替代方案。