容错基础模型

arXiv:2610.10311v1 公告类型：新论文 摘要：新兴计算机硬件常常以可靠性换取能效；在此，我们展示了大型语言模型（LLMs）可以经过训练以容忍这种不可靠性，而且它们的错误韧性非但不会下降，反而会随着模型规模增长而增强。基于在模拟故障数字硬件上进行的 40,000 GPU-hours 训练运行所推断出的修正神经缩放定律，量化了这一趋势，并表明模型学会了在“良好”的纠错码中进行计算，而无论模型规模多大，这些纠错码的相对开销始终保持有限。这一发现促使我们推测，经过适当训练的 LLMs 可能具备形式上的容错能力；如果这一推测成立，那么在低能耗、存在故障的硬件上运行 AI 推理，可能成为相较现状大幅节能的一条路径。