通过 Pioneer Student 实现 Teacher-Student 半监督学习的解耦优化
Decoupled Optimization for Teacher-Student Semi-Supervised Learning via a Pioneer Student
精选理由
先锋学生模块解耦师生优化，缓解参数耦合与梯度失衡，提升半监督学习效果。
AI 摘要
arXiv:2610.09609v1 发布类型：新 摘要：半监督学习（SSL）依赖于两个核心机制：Teacher-Student（T-S）框架下的自训练，以及有标签损失与无标签损失的联合优化。尽管这两种机制都很有效，但我们发现它们分别引入了不同的优化病态。首先，参数耦合强制教师模型与学生模型之间进行严格同步，而对学生模型施加强正则化会削弱教师模型的拟合能力，从而限制允许的泛化强度。其次，有标签损失与无标签损失在梯度更新一致性上的不平衡，会驱使共享参数过早收敛到由有标签数据主导的局部最优点，进而形成全局优化瓶颈。为解决这两个问题，我们提出 Pioneer Student（PiS），这是一个在独立参数空间中运行的辅助分支，并会定期将积累的知识传回 T-S 模型。大量实验表明，PiS 是一个通用的即插即用模块，能够持续改进主流 SSL 方法。