能力流形与 ML Scaling Laws

现有的机器学习（ML）Scaling Laws 将预测损失与计算量、模型参数和数据联系起来。然而，随着模型越来越多地通过智能体框架进行部署，仅凭损失已不足以刻画下游性能：损失相近的模型在推理、检索、规划和适应能力方面可能表现不同。然而，目前尚无统一框架能够将这些能力与整个 ML 生命周期中可用的耦合资源联系起来。为弥合这一缺口，我们引入了能力流形，这是一种多维框架，通过有界缩放函数将下游能力映射到预训练、后训练和测试时资源。解析雅可比矩阵量化了能力对资源变化及其相互作用的敏感性。作为初步应用，我们将 Kaplan- 和 Chinchilla- 类型的 Scaling Laws 以及测试时计算纳入该框架，展示了如何将现有的缩放关系统一为共同能力流形上的轨迹。