面向适者生存训练中种群剪枝的未来性能临近预测

arXiv:2611.06512v1 公告类型：新论文 摘要：训练高性能神经网络通常需要评估由不同超参数、架构或随机种子的候选模型组成的种群。将每个候选模型都训练至完成的计算成本高昂，但由于学习曲线可能交叉，提前终止看似较弱的训练运行又可能丢弃最终表现更好的模型。为应对这一挑战，我们研究了能否利用训练中间检查点预测模型未来的准确率，从而做出更明智的剪枝决策。我们的临近预测器可预测五个训练轮次之后或训练结束时的测试准确率。它们以准确率和损失的历史记录、权重统计量以及 SANE 表征作为输入进行训练。SANE 是一种基于 Transformer 的自编码器，可将检查点编码为潜在词元序列。随后，我们将这些临近预测器用于适者生存（SOTF）训练。SOTF 在训练过程中反复根据预测准确率对各次训练运行进行排序，并终止排名最低的运行。结果表明，权重统计量在预测五个训练轮次后的准确率时效果最佳，而 SANE 表征在预测最终准确率时效果最佳。在评估中，我们将 SOTF 与按当前准确率对种群进行剪枝的方法进行了比较。在 CNN 模型库等同质模型库中，按当前准确率剪枝所保留的最终模型就已仅略逊于最佳模型。对于 ResNet-18 和 ViT 模型库等性能差异较大的模型库，仅凭当前准确率进行剪枝则更为困难。在这些模型库中，采用临近预测的最终准确率进行剪枝的 SOTF 几乎消除了与最佳模型之间的差距。