通过迭代细化扩展 RNA 基础模型

arXiv:2610.13106v1 公告类型：新论文 摘要：RNA 的生物学功能编码于从局部序列基序到长程结构依赖的多个尺度之中。传统 RNA 基础模型在固定架构内将参数容量与推理深度耦合，为每次推理规定固定的计算图。本文提出 Eco-RNA，这是一个拥有 8000 万参数的 RNA 基础模型，通过学习到的迭代细化机制实现推理深度的可调节性。其共享的、以输入为条件的 Transformer 核心通过反复应用来细化序列表示。迭代次数在训练后选定，可在模型参数固定的情况下控制有效深度。我们在不同循环深度下开展训练，采用掩码重建、状态正则化，以及将更深层重建锚定于浅层参考的单侧损失。在包含 70 项测定的 RNAGym 适应度基准上，将细化次数从一次增加到四次，可使汇总的 Spearman 相关系数绝对值从 0.242 提升至 0.286，且这一增益在迭代次数增加至八次时仍得以保持。在四次迭代下，尽管参数量仅为当前最先进模型 Evo 2 40B 的 1/500，Eco-RNA 在全部三项汇总适应度指标上均超越了该模型。其不同迭代配置推进了受评模型的计算量—性能帕累托前沿。它还在非编码 RNA 家族分类、RNA 二级结构预测及化学探测谱预测任务中优于受评基线模型。这些结果确立了内部推理计算作为 RNA 基础模型有效扩展维度的价值。