缩放定律的基础

arXiv:2610.27789v1 公告类型：新 摘要：经验缩放定律将验证损失与模型规模、训练数据暴露量和计算量联系起来，为资源分配提供定量依据。本技术说明通过三项相互关联的分析阐释这些关系。几何近似将空间分辨率、内在维度和平滑性与函数误差联系起来；损失函数决定这种误差如何传递到任务风险。谱分析结合特征可见性、协方差特征值和目标对齐，描述额外数据如何减少尚未解析的预测质量。随后，约束优化给出参数—数据平衡以及训练—推理之间的权衡。我们还研究涌现和 grokking，将评分阈值与学习动态区分开来；同时研究测试时扩展，将候选覆盖率与最终选定答案的准确率区分开来。视觉和分子预测方面的应用展示了领域特定坐标如何改变资源比较。一个 $\mathrm{SE}(3)$ 案例研究量化了商空间近似增益对维度的依赖，并比较了优化后的计算前沿，同时分别分析构象覆盖率和相关样本精度。