容错基础模型

新兴计算机硬件往往以牺牲可靠性来换取能源效率；我们在此表明，大语言模型（LLMs）可以通过训练来容忍这种不可靠性，而且随着模型规模增大，其错误韧性非但不会下降，反而会增强。我们根据在模拟故障数字硬件上进行的累计 40,000 GPU 小时的训练，推导出修正后的神经缩放定律，量化了这一趋势，并表明模型学会了在“良好”的纠错码中进行计算，而无论模型规模增大到何种程度，这些纠错码的相对开销始终保持有限。这一发现使我们推测，经过适当训练的 LLMs 可能在形式化意义上具备容错性；如果这一推测成立，那么在低能耗、存在故障的硬件上运行 AI 推理，可能成为相较于现状大幅节能的一条路径。