OptiSelect：优化器如何塑造数据课程？

arXiv:2610.03432v1 公告类型：新 摘要：在线数据选择通过在每个批次中选取最有价值的候选样本进行训练，已被证明能够显著提升 LLM 预训练的效率。由于候选样本的价值是通过其实际产生的模型更新来体现的，因此，具有原则性的数据选择应当考虑优化器步骤，因为优化器会在更新模型参数之前重新塑造原始梯度。我们将这种考虑优化器的数据选择范式形式化为 OptiSelect，并首次系统研究优化器如何塑造数据选择。我们的理论建立了选择增益原理：在线选择的优势取决于优化器诱导的效用分数的可区分性。我们证明，Lion 和 Muon 中基于符号及极坐标切向的预条件器会出现可区分性坍缩，从而限制 OptiSelect 所能获得的增益；而 AdamW 和 Sophia 等对角自适应优化器则具有严格更优的上界。所提出的原理还定量推导出了候选样本最优过采样比例。在 124M 和 720M 模型上的预训练实验与我们的理论分析一致，并表明，即使使用 Muon 作为优化器，AdamW 的对角自适应评分几何仍然是最强的评分几何。我们进一步证明，在数据改写这一现代数据处理流程中使用的技术下，OptiSelect 仍能保持其优势。我们的研究为 LLM 预训练中优化器与数据选择的协同设计提供了理论基础和实践指导。