ACE-Compression：以能力为中心的压缩大语言模型评估

模型压缩使大语言模型能够部署，但现有评估只能呈现不完整的图景。标准做法是衡量任务性能的保留程度，然后止步于此。这忽略了一个关键事实：压缩会扰动分布在数十亿个权重中的知识，而仅凭任务得分无法揭示哪些底层能力得以保留，哪些能力却在不知不觉中崩溃。为解决这一问题，我们提出了 ACE-Compression，一种以能力为中心的评估框架。我们不再只问“压缩后的模型还能否正确作答？”，而是进一步追问“它的哪些核心能力仍然完好？”我们的框架考察面向部署的四个维度：程序性推理与约束执行、知识 grounding 与真实性、社会认知与情感理解，以及人格一致性与风格一致性。在来自六个开放权重大语言模型的 35 个以上压缩检查点上进行评估——涵盖量化与剪枝——我们发现，压缩会重新分配模型的能力构成。粗粒度、局部性和表层信号往往能够保留，而细粒度、长尾以及依赖上下文的能力则会变得脆弱。在能力保留方面，量化始终优于剪枝，但这一差距的实际意义完全取决于应用所需的具体能力。基于这些发现，部署者可以根据应用所需的能力构成选择压缩方法，而不只是参考排行榜平均分。算法设计者也能获得诊断信号，从而构建能够保留关键能力的压缩方法。我们相信，ACE-Compression 将压缩从一种黑箱式的准确率下降，转变为一种可解释的干预——我们能够对其进行测量、理解，并最终加以改进。