具有风险控制的安全元策略设计

arXiv:2610.10393v1 公告类型：交叉 摘要：随着新数据的到来，模型可以重新训练，但部署每个新版本都有可能用更差的策略替换原本良好的策略。我们研究如何在未来候选策略训练完成之前规划策略更新（即元策略），在改进带来的收益与性能退化的风险之间进行权衡。我们的离线元策略在预期更新次数预算的约束下，最大化预期累积价值，其中预算针对的是表现不如其所替代策略的更新次数。我们利用历史学习轨迹估计可能切换的价值与风险，将更新计划表示为有向无环图中的路径，并通过动态规划选择更新计划。最高阶分析表明，策略改进的信噪比是决定更新频率、等待时间和风险分配的关键因素：更明确的改进支持更早且更频繁的更新，而噪声更大的改进则需要更长的等待时间或投入更多风险预算。其渐近速率还揭示了随着时间推移，实现更高安全性的边际成本会逐渐降低。在合成数据和临床试验数据上的实验展示了性能与风险之间的权衡，并将我们的方法与其他替代基线进行了比较。