Predictable Scaling：通过扩展定律预测实现高效模型探索

arXiv:2610.23453v1 发布类型：新增 摘要：评估推荐模型的候选变更（假设）需要进行完整规模的训练运行，消耗数千个 GPU 小时，严重限制了工程师能够切实探索的假设空间。我们提出 Predictable Scaling（PS），这是一个系统性框架，利用经过实证验证的规律性条件，从小规模代理模型预测完整规模下的模型性能。PS 通过沿不同资源轴使用可组合的缩放函数构建缩小规模的变体，并通过曲线拟合将指标投射到目标规模，同时给出经过校准的不确定性估计。我们比较了三种表达能力逐步增强的预测策略：即使是最简单的策略（原始代理模型），其预测误差也处于重复运行方差所形成的经验噪声下限以内；表达能力最强的策略（高斯过程）则实现了具有代表性的 15% 相对 MAE 改进，并提供经过校准的不确定性。在两个复杂度逐步提升的排序模型上进行评估——一个特定任务模型和一个基础模型——结果表明，在计算量降低 79% 至 88% 的情况下，PS 能够正确地对不同类型的可执行假设进行排序。