当 LLMs 退化时秩反而上升

arXiv:2610.09647v1 公告类型：新 摘要：后训练使语言模型能够适应非平稳环境。实践者使用 RankMe 及相关谱统计量监测表征健康状况，通常假设表征退化时秩会下降。我们表明，这一假设对于 LLM 后训练并不可靠。在一项针对 Qwen3-0.6B 的受控研究中，我们设置了四种退化模式和三个随机种子。与健康状态相比，数据重复使留出损失恶化了 75%，同时却提高了原始 RankMe 和中心化 RankMe；后者变化了 13.5 个合并标准差。协方差有效秩上升到接近健康状态的两倍。这种失效源于谱离散而非谱坍缩，因此单侧监测器会将最差的检查点评为最健康。相比之下，学习率配置错误会降低中心化 RankMe 和 k95，而非中心化 RankMe 在不同随机种子之间表现不一致。因此，变化方向是“退化机制—统计量”组合的属性，不能仅靠重新校准来解决。我们还区分了两个经常混淆的统计量：RankMe 对奇异值进行归一化，而协方差有效秩对特征值进行归一化。在预训练模型的原始中间层状态上，大幅激活值会将后者限制在接近维度 d 中的 1，而 RankMe 仍保有可用的变化范围。随后，我们测试了一个采用独立校准数据和测试数据的双侧多通道序贯监测器。在预注册的共享前缀、留一随机种子评估中，该监测器在每个折中都能检测到全部三种损害机制，时间为分叉点之后 10 到 60 步，并通过触发方向区分谱离散与秩下降型损害。然而，它从未早于留出探针损失发出预警；使用两个随机种子进行校准还会在留出的健康随机种子上产生误报。谱监测可以诊断失效机制，但无法比留出损失更早发出预警；有关有效性的论断则需要留出的健康数据。