适配前先锐化：面向测试时强化学习的无数据初始状态锐化

arXiv:2610.00903v1 公告类型：新 摘要：测试时强化学习（TTRL）利用模型自身采样所产生的监督信号，在无标签测试题目上适配语言模型。这使得检查点的“初始状态”变得至关重要：分散的策略会提供噪声更大的自监督信号，并且可能在可靠地展现其已经具备的能力之前，先花费大量有限的适配预算来集中概率质量。我们提出“初始状态锐化”：在TTRL之前进行无数据训练，将通用检查点预先调整到一种状态，使后续的无标签适配能够更高效地加以利用。该思想并不局限于某一种训练方案；不同的无数据目标可以将同一个基础模型带入不同的初始状态。我们从Qwen3-4B构建了五个无数据检查点，并在完全相同的15步TTRL协议下进行评估。结果表明，初始策略熵能够强力排序终点转换效率——这是一种从可靠性到可达性的度量（Spearman $\rho=-0.90$；控制初始可达性后为$\rho=-0.99$）。不同目标之间的差异十分显著：R-Zero的策略仍然较为分散，熵为$3.39$纳特，并且在MATH、GPQA和AMC上的6/6组配对比较中，最终表现均低于未经调优的基础模型；而SPIRAL的熵达到$0.07$纳特，在MATH和GPQA上取得了TTRL后的最高准确率，尽管其自博弈阶段没有使用任何数学训练数据。进一步的域内无标签自蒸馏干预表明，初始状态可以被有意地锐化。这些结果促使我们将检查点准备视为一个“状态控制问题”：利用无数据训练来提升TTRL就绪度，以初始熵作为无标签控制信号，并以可达能力作为约束。