面向语言模型持续训练的在线无标签梯度匹配

面向客户的产品中的语言模型必须持续更新，因为其所处理的数据会随时间发生变化。由于在全部累积数据上重新训练并不现实，每次更新应改为使用一小组样本，这些样本承载着迄今所见全部数据的训练信号。当前最强的方法通过梯度匹配构建这组样本，即合成训练梯度与完整数据的训练梯度相匹配的样本。然而，这些方法需要真实标签，只能在固定的数据快照上运行一次，而无法处理不断增长的数据流，且在大规模数据上运行缓慢。我们提出了 \textbf{OLGA}，突破了这些限制。它从模型自身的下一词元预测中获取梯度匹配目标，从而蒸馏无标签数据。在使用 phi-1.5 的五个文本分类基准测试中，它仅用少至五个样本，就能比最强的样本选择基线提高 10 个百分点的准确率。OLGA 还通过维护一个由合成样本组成、持续更新的回放记忆库来蒸馏在线数据流；每当新批次到达时，该记忆库便与新批次一起被重新蒸馏。在在线设置下，它的流式 AUC 比最强的基于样本选择的持续学习基线高出 6.6 个百分点。最后，我们的方法通过在混合流程中结合蒸馏与样本选择，扩展到大规模数据，让样本选择负责轻度压缩阶段，让蒸馏负责极端压缩阶段。在准确率相近的情况下，该方法相比单独使用蒸馏缩短了 30\% 的运行时间，并比最佳的纯样本选择流程提高了最多 12.6 个百分点的准确率。