蛋白质语言模型中预训练数据过滤的有效性与持久性
The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
精选理由
揭示数据过滤能削弱病毒蛋白模型能力，却易被低成本微调恢复，为生物安全防护提供依据。
AI 摘要
预训练过滤是开放权重语言模型最常见的安全防护措施之一。在本文中，我们使用 ESM-2 系列蛋白质语言模型研究了预训练过滤的有效性、持久性和可扩展性。我们发现，从预训练数据中过滤掉病毒蛋白，会显著降低模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测性能，同时基本保持其在非病毒蛋白上的性能。这些影响主要集中在感染人类的病毒蛋白上，并且随着模型规模从 8M 参数扩展到 3B 参数而增强。随着模型规模增大，我们发现严格过滤的效果变得更加明显。然而，使用被移除的病毒家族中的序列进行微调，可以恢复损失的性能。尽管恢复性能的成本会随模型规模扩大而增加，但即使对于最大的模型，所需成本也仅约为 80 美元的 H100 计算时间。本研究表明，预训练过滤能够以中等程度有效地选择性降低模型在病毒蛋白上的性能，但面对使用适度计算资源和相关数据进行的微调时，这种效果并不持久。