ProtModernBERT：计算高效的蛋白质语言建模

大型蛋白质语言模型为学习序列与功能之间的关系以及指导实验设计提供了强大的框架。然而，对架构改进的探索仍不充分，尤其是在与资源受限研究实验室密切相关的低计算预算条件下。我们表明，通过采用现代架构优化，可以降低纯编码器 Transformer 架构的训练成本，在性能与计算效率之间实现令人鼓舞的权衡。我们提出 ProtModernBERT，这是一种在氨基酸序列上预训练的现代化 BERT 风格模型，并将其与 ProtBert、Amplify 和 ESM2 在一组有监督结构任务（涵盖二级结构预测、无序区域预测和亚细胞定位）以及 ProteinGym 的零样本功能基准上进行比较。我们发现，ProtModernBERT 在预训练浮点运算次数（FLOPs）减少高达 80–90% 的情况下，性能仍能达到或接近 Amplify-120M 和 ProtBert，并且在控制预训练条件后，缩小了与 ESM2 的差距。我们的分析采用基于聚类的验证方案进行超参数选择，并结合随机初始化模型，区分了架构与数据各自的贡献，表明现代组件能够提供更强的归纳偏置，而在低计算预算条件下，这些归纳偏置比参数量更为重要。