动态医疗治疗强化学习的统一基准

arXiv:2606.01028v4 公告类型：替换 摘要：医疗治疗推荐给强化学习（RL）带来了若干挑战：患者的生理状态在连续时间中演变，测量和干预以不规则的时间间隔进行，且治疗效果在个体间存在显著差异。然而，现有的 RL 建模方法和仿真环境均基于具有固定决策间隔的离散时间马尔可夫决策过程（MDP）。因此，仍难以评估 RL 方法能否处理依赖于时间间隔的疾病进展、个性化治疗反应，以及连续两次测量之间的安全性。为填补这一空白，我们推出了 MedGym，一个用于动态治疗推荐的基准环境。MedGym 在连续时间框架下对患者状态的纵向演变进行建模，并利用物理信息神经网络，根据临床数据构建可配置的医疗 RL 基准。由此构建的基准能够在不规则治疗时机和患者特异性动态变化条件下，直接比较离散时间方法与连续时间方法。此外，MedGym 支持从个性化和轨迹层面的安全性等临床重要角度进行评估。通过为连续时间动态治疗提供标准化且可配置的基准，MedGym 能够对医疗 RL 方法进行更贴近现实、更具参考价值的评估。