TopoQuant：表征量化大语言模型行为变化的拓扑框架
TopoQuant: Topological Framework to Characterize Behavioral Shifts in Quantized Large Language Models
精选理由
提出用拓扑特征预测量化模型的注意力一致性，帮助低成本发现性能退化并确定安全压缩范围。
AI 摘要
训练后量化（PTQ）降低了大语言模型（LLMs）的计算成本，但也可能引入内部结构和行为变化，而准确率、困惑度等传统指标无法捕捉这些变化。我们提出了 TopoQuant，这是一个利用拓扑数据分析（TDA）量化自注意力权重中的结构漂移，并将其与量化大语言模型的行为变化联系起来的拓扑框架。通过对四个大语言模型系列和多个量化级别的研究，我们发现，拓扑漂移在适度压缩水平下保持稳定，但在精度低于 4 比特时急剧增加，与注意力一致性的下降密切同步。我们的结果揭示了拓扑漂移与注意力一致性之间的强关联，表明模型参数的结构变化能够密切反映量化导致的行为退化。我们进一步证明，利用轻量级机器学习模型，拓扑特征可以准确预测注意力一致性，R² 得分最高可达 0.85。预测注意力一致性能够高效评估量化大语言模型的行为一致性，从而无需运行成本高昂的下游任务，即可检测量化引起的退化。结果表明，拓扑漂移能够为量化引起的退化提供高效的早期预警信号，并有助于在无需大量下游评估的情况下确定安全的压缩界限。