AI 训练如何扩展

我们发现，梯度噪声尺度这一简单的统计指标，可以预测神经网络训练在广泛任务上的可并行化程度。由于复杂任务往往具有噪声更大的梯度，未来越来越大的批量大小很可能会变得有用，从而消除 AI 系统进一步增长的一个潜在限制。更广泛地说，这些结果表明，神经网络训练不必被视为一门神秘的艺术，而是可以被严格化和系统化。