幻影增益：针对实测零假设审计自我改进

一个语言模型是否改进了自身，越来越多地不是由平均准确率来判断，而是由它在哪些具体问题上有所获得和有所损失来判断。追踪这些转变意味着对两个有噪声的估计求差，因此容易受到测量伪影的影响。我们审计了在 Qwen3-8B 上进行的三轮 rank-$32$ LoRA 自训练，并将其与一个冻结控制模型进行比较；该控制模型经过完全相同的流程。我们识别出七种测量失效，每一种在缺少其控制时都会反转一项报告的发现。其中若干种属于标准做法。基于单次贪婪解码构建的账本会在未训练模型上制造能力变化，这在很大程度上是推理批处理造成的伪影；用于区分获得与锐化的扩展统计量给同一个模型赋予了 $0.280$ 的比率。自然的阈值修复无法经受复现：在这类设计本已包含的冻结比较中估计时，它的零假设仍然非零。我们将其替换为一种在错误发现率控制下、针对合并基线进行的逐问题精确检验；该检验在任何留出复现上都未检测到任何结果，并且在多重检验规则、错误率和池大小变化下保持不变。将其应用于在数据流、规模和评估上匹配的一系列实验臂后，审计发现，外部蒸馏能改善基础模型很少触及的问题，而三种形式的自训练不能；一项回归检验否定了这种不对称只是蒸馏总体增益更大所造成副产物的解释（$p < 10^{-8}$）。在基础模型从未触及的更小问题集合上，证据尚无定论；与此同时，自训练会以远高于实测下限的比率破坏基线时已解出的问题。因此，转变层面的审计要求它所报告的每一项统计量都有一个单独测得的零假设：这些零假设无需新的实验成本，可由多臂研究本来就拥有的基线复现构建，尽管多数研究所拥有的数量还远远不够。