量化与高效适配蛋白质语言模型的分析

arXiv:2610.00665v1 公告类型：新 摘要：背景：蛋白质语言模型（PLM）越来越多地用于序列生成和性质预测，但其规模使微调和部署成本高昂。量化和参数高效微调对性能、表征及生成的影响仍缺乏充分表征。结果：我们在 ESM-2、ESMC、ProtBERT、ProtT5、Ankh、Ankh3 和 Profluent-E1 上评估了 4 位量化和低秩适配器微调（QLoRA）。在各类蛋白质预测任务中，许多模型—任务组合保留了超过完整微调性能 90% 的表现。对于规模最大的模型，GPU 峰值内存节省接近 90%，但性能和效率因模型、数据集及训练配置而异。QLoRA 通常能够保留早期层的表征，同时在中间层和后期层引入任务特异性适配，其效果类似于完整微调，但表征变化更小。训练速度和功耗方面的影响则更加多样。对于使用 ProLLaMA、ProtGPT2、ProGen2、ProteinGLM 和 ESM3 进行的无条件生成，4 位量化基本保留了预测的结构和序列级性质，但词元级分析揭示了自回归输出分布中依赖于模型的偏移。结论：QLoRA 和 4 位量化降低了 PLM 的计算需求，尤其是 GPU 内存占用。我们的结果支持将 QLoRA 作为内存受限适配的首选初步策略，而对于具有挑战性的任务、不稳定的架构或验证集性能恢复较低的情况，则保留使用完整微调。对于生成式 PLM，应将序列级和结构指标与分布分析结合起来，因为仅依赖下游预测可能无法发现量化引起的偏移。这些方法能够扩大大规模蛋白质建模的使用范围，但仍需要针对具体模型和任务进行验证。