大语言模型压缩的能力缩减规律

arXiv:2610.02462v1 公告类型：new 摘要：大语言模型压缩能够降低推理成本和内存需求，但由于相当的资源缩减可能带来不同程度的能力损失，方法和配置的选择仍主要依赖经验。我们系统研究了大语言模型压缩在剪枝、量化和蒸馏方面的能力缩减规律。我们的框架衡量模型在数学、代码生成和问答任务上的能力损失，并将这些测量结果与模型规模、训练阶段、压缩设置、数据可用性和训练暴露量联系起来。我们构建了简单的预测关系，并评估其准确性、测量效率，以及对未见过的配置和模型状态的泛化能力。在不同剪枝水平之间共享密度响应后，拟合剪枝预测器所需的配置测量数量减少了一半：在新的 Pythia 状态、预注册的 OLMo-2 测试状态以及 Wanda 剪枝条件下，这一紧凑关系在数学和代码任务上与使用全部测量结果拟合的回归模型相差不超过每个词元 0.020 纳特，其中系数针对每种设置分别重新拟合。受控蒸馏实验表明，在不同问答分布中，大量重复使用数据的成本会反复出现，而其净收益取决于评估分布。我们进一步通过将数值选择与配置中位数和固定方法优先级进行比较，评估这些预测的决策价值。在两个模型系列上的独立评估显示，在所测试的候选集合中，对于问答任务，选择方法能够捕获大部分可获得的跨方法收益；固定的方法优先级也能达到相同的遗憾值，而数学和代码任务的改进空间较小。这些结果阐明了能力缩减规律的预测范围，以及如何利用它们选择压缩方法。我们的代码公开于：https://github.com/LabRAI/scaling_down_law】【。