利用多步转移预测的强化学习：一种贝尔曼理论

arXiv:2610.32887v1 公告类型：新 摘要：对未来转移结果进行多步预测可以改进强化学习，但其价值仍难以量化。将这些预测直接纳入状态可能导致状态空间呈指数增长，使直接动态规划的计算成本高昂。我们在分块反馈协议下研究折扣有限 MDP：在每个 K 期区块开始时，决策者观察部分动作的 K 步概率转移预测，并根据区块内观测到的状态调整决策。我们证明，最优价值在原始状态空间上满足一个贝叶斯贝尔曼方程。这一表示揭示了预测信息创造价值的机制：它在贝尔曼展开中递归地改变局部最大化与期望运算的顺序。我们通过贝尔曼--詹森分析将这一效应形式化，并量化预测时域、误差、动作覆盖范围以及区块内反馈的影响。我们提出了带在线自适应的分块反馈贝叶斯离线学习（BF--BOLA），这是一种用于学习近似最优策略的基于模型的算法，并在所述条件下建立了相差至多对数因子的样本复杂度上下界。结果表明，预测可以将转移学习简化为对未覆盖行的学习；与估计贝叶斯价值函数相比，学习近似最优策略所需的预测样本可能更少。