VenusGenome：用于微生物基因组表征学习的基因组感知掩码自编码

arXiv:2611.05405v1 公告类型：交叉发布 摘要：基因组上下文模型已表明，为蛋白质嵌入引入上下文信息可以改善对微生物功能的预测。我们观察到，一个基因的蛋白质嵌入可由基因组中相邻基因的嵌入部分预测，这促使我们采用高比例掩码，要求模型从更稀疏的基因组上下文中进行重建。基因组建模还必须区分生物学关系与组装惯例，因为不同重叠群的排列顺序并不意味着它们彼此相邻，而链标签则取决于参考方向。因此，我们提出 VenusGenome，这是一种基因分辨率的掩码自编码器，将仅对可见输入进行编码的机制与基因组感知注意力相结合，后者纳入了重叠群边界、相对链方向和基因位置。我们在一个经过筛选整理的语料库上对该模型进行预训练，该语料库包含来自分离株和宏基因组来源的逾 170 万个微生物基因组组装，并使用冻结的蛋白质嵌入作为基因级输入。在基因组级表型预测和基因级任务中，所得的冻结表征在 11 项主要指标中的 9 项上取得了所有受评估模型中最高的平均性能。探索性的基因输入扰动分析进一步将表征敏感性与实验测得的适应度缺陷联系起来。消融实验支持了基因组感知注意力的贡献，并表明掩码自编码优于 BERT 式掩码建模，且提高掩码比例可带来进一步增益。