无标签引导：将测试时强化学习压缩到仅偏置子空间中

arXiv:2609.18587v3 公告类型：替换 摘要：测试时强化学习（TTRL）使模型无需依赖带标签的训练数据即可提升推理能力，但现有方法通常会优化模型中相当大比例的参数。这引出了一个自然问题：当奖励信号和优化空间都受到严格限制时，是否仍能实现有效的测试时适应？我们通过无标签的仅偏置 TTRL 回答了这一问题。该方法使用多数投票伪标签作为奖励，仅优化约 100K 个偏置参数，同时冻结预训练骨干网络。在 MATH-500 上，我们的方法使用 Qwen2.5-7B 达到 76.67% 的准确率，略高于我们对有标签偏置引导方法的复现结果，同时相比全参数 TTRL 优化的参数数量减少了 76,000 倍。同一训练流程还提升了模型在视觉-语言和音频推理任务上的表现，包括 MathVista、AI2D、LogicVista 和 MMAU。我们进一步表明，学习到的引导向量能够迁移到 4,500 个留出的 MATH 问题上，说明这种适应并不局限于测试时优化所使用的问题。最后，我们分析了这种高度受限的适应为何能够奏效，发现多数投票的可靠性会随着 rollout 一致性的提高而提升，而具有更高可访问梯度能量的偏置子空间则表现出更强的下游可训练性。这些结果表明，仅使用完全无标签的奖励来优化一个极小的仅偏置子空间，也能实现显著的测试时适应。