分布式时间差分学习中的在线推断

arXiv:2608.14408v2 公告类型：replace-cross 摘要：我们研究固定策略下回报分布泛函的在线统计推断。我们通过基于单条马尔可夫轨迹的非参数分布式时间差分学习来估计回报分布。对于 Polyak--Ruppert 平均估计量，我们证明其 $\sqrt{T}$ 误差在 Cramér 空间中弱收敛于一个中心高斯随机元。我们还证明，条件于所观测的轨迹，bootstrap 平均值与原始平均值之间的 $\sqrt{T}$ 倍差异弱收敛于同一个高斯极限。这些结果为对光滑统计泛函进行 bootstrap 推断提供了理论依据，其中包括方差、CVaR、预期损失和期望分位数。对于非光滑统计泛函，我们针对有限个阈值的 $T^{-1/2}$ 邻域，建立了所估计回报 CDF 的局部渐近理论及其 bootstrap 对应理论。该理论使我们能够对由 CDF 方程刻画的非光滑统计泛函进行推断，其中包括回报分位数。