MORAD：用于 RNA 逆向设计的多目标奖励强化学习

arXiv:2610.13305v1 公告类型：新投稿 摘要：我们提出 MORAD，这是一种面向骨架条件化 RNA 扩散模型的在线强化学习框架，可针对多种目标骨架训练单一共享策略。结构条件化 RNA 逆向设计旨在寻找与目标三维骨架相容的核苷酸序列，但现有强化学习方法要么为每个目标骨架单独优化策略，要么依赖离线偏好优化，因此，对可复用的骨架条件化模型进行在线后训练仍基本未得到探索。MORAD 结合了骨架条件化的分组采样、组相对奖励归一化和前向过程扩散目标。现有强化学习奖励主要关注三级结构质量，而 MORAD 则联合优化六项度量，涵盖三级结构几何、碱基配对、系综行为和序列组成。为在量纲尺度和优化方向存在差异的情况下聚合这些异质目标，MORAD 将各项度量映射为有界的合意度评分，并通过加权几何平均将其组合。与仅针对三级结构的奖励相比，这一多目标方案改善了 11 项具有明确优劣方向的评估指标中的 10 项。应用于预训练的 RIDE 时，MORAD 将 GDT-TS 提高了 16.0%（从 0.3300 提升至 0.3827），将配对 MCC 提高了 19.4%（从 0.6110 提升至 0.7295），同时将归一化系综缺陷降低了 27.5%（从 0.3906 降至 0.2830）。在测试集上，MORAD 在三级结构准确性、二级结构配对和热力学质量方面均优于 RiboDiffusion、gRNAde 和 RDesign，在结构条件化 RNA 逆向设计领域达到了新的最先进水平。