教师何时应更新？自同策略蒸馏中的时间耦合与稳定性

arXiv:2606.03532v2 公告类型：替换 摘要：自同策略蒸馏使用由学生策略自身参数历史构建的教师来训练学生策略，但教师的更新调度——决定教师与学生之间的\emph{时间耦合}——尚未作为稳定性变量得到系统研究。通过在 Qwen3-8B 上开展受控的调度扫描实验，我们证实，\emph{隔离期}（即两次更新之间完全冻结教师的时段）才是实现稳定学习的关键结构性属性，而非教师的年龄。为刻画这些底层训练动态，我们提出了一个涵盖时间 KL 结构、刷新冲击和长度尾部风险的诊断框架。该框架进一步揭示了\emph{状态无感知崩溃}：在短期训练中最优的固定调度，在长期训练中会发生灾难性失效，因为时钟驱动的刷新可能通过一次不可逆的操作，将暂时发生漂移的学生复制到教师中。这种失效模式在短期评估中无法察觉，且在机制上不同于 EMA 的持续性污染。为解决这一问题，我们提出 \emph{Consolidation-Gated Teacher Refresh}（CGTR），该方法保留隔离期，同时根据奖励提升与长度尾部安全性的联合证据，对每次刷新进行门控，确保教师的每次更新都响应学生真正的学习巩固，而非时钟信号。CGTR 仅使用一套共享参数，无需针对各数据集重新调参，就在全部四项任务（Chemistry、Biology、Physics、ToolUse）上实现了\textbf{零崩溃}和最佳最终得分，并能根据各任务的学习动态自主调节刷新频率。