ProtModernBERT：计算高效的蛋白质语言建模

arXiv:2610.19738v1 公告类型：新提交 摘要：大型蛋白质语言模型为学习序列与功能之间的关系以及指导实验设计提供了强大的框架。然而，架构改进尚未得到充分探索，尤其是在与资源受限研究实验室密切相关的低计算预算条件下。我们表明，利用现代架构改进可以降低纯编码器 Transformer 架构的训练成本，在性能与计算效率之间实现令人鼓舞的权衡。我们提出 ProtModernBERT，这是一种在氨基酸序列上预训练的现代化 BERT 风格模型，并在一组有监督结构任务（涵盖二级结构预测、无序区域预测和亚细胞定位）以及 ProteinGym 的零样本功能基准上，将其与 ProtBert、Amplify 和 ESM2 进行比较。我们发现，ProtModernBERT 在预训练浮点运算量减少高达 80%–90% 的情况下，性能仍能达到或接近 Amplify-120M 和 ProtBert，并在控制预训练条件时缩小了与 ESM2 的差距。我们采用基于聚类的验证方案进行超参数选择，并结合随机初始化模型开展分析，区分了架构与数据各自的贡献，结果表明，现代组件提供了更强的归纳偏置，在低计算预算条件下，其影响比参数量更为显著。