权重聚类揭示相对排序在大语言模型中的重要性

arXiv:2603.17917v2 公告类型：替换 摘要：大语言模型（LLMs）包含数十亿个参数，但许多权重的精确数值并非必不可少。我们对预训练模型应用标量 $K$ 均值聚类，将每个权重矩阵中的权重替换为仅 16--64 个共享值。对于 Llama~3.1-8B-Instruct 和 SmolLM2-135M，这种方法无需重新训练即可保持较高的准确率，为压缩磁盘上存储的 LLMs 提供了一种简单方法。仅微调聚类中心，就能进一步挽回剩余准确率损失的 30--40\%。随后，我们将聚类作为分析工具，固定聚类分配，仅扰动共享值，以研究这些值的哪些属性最为重要。我们发现，保留它们的\emph{相对排序}（哪些连接比其他连接更强或更弱）比保留其精确大小更重要。破坏这种排序会大幅增加困惑度，而在许多中间层和后期层中，改变数值但保持排序只会造成很小的损失。然而，仅保留排序还不够。模型性能还取决于是否维持了重构权重的方差，而早期层仍然更为敏感；对聚类分配本身进行扰动表明，其空间几何结构也起着关键的支撑作用。我们在来自两个架构家族的四个 LLMs 中观察到了相同的行为。这些结果表明，权重的排序及其整体方差在 LLM 压缩和鲁棒性方面发挥着核心作用。