面向稀疏长时域环境的方差规避 $n$ 步离线强化学习

arXiv:2610.07899v1 公告类型：new 摘要：生成式 actor 正在通过支持能够建模复杂动作分布的高表达能力策略类，改变离线强化学习（RL）。然而，这种表达能力也暴露了异质数据集中的一个关键挑战：生成式策略可能复现不可靠的动作模式，其回报分布呈现高方差，偶尔会因运气获得高回报，却缺乏一致性。因此，仅最大化期望 $Q$ 值不足以识别可靠动作。我们提出 VAN-Flow（Variance-Averse $n$-step Flow），一种促进生成式离线 RL 中可靠动作的框架。VAN-Flow 结合了：(i) 分类分布式 critic；(ii) 方差规避期望算子，通过平滑地重新加权原子概率，使其偏向同时具有高回报和低离散度的动作；以及 (iii) 通过拒绝采样引导的流匹配生成式 actor。不同于 CVaR 或均值-方差目标，该算子在分类回报分布上重新分配概率质量，无需硬截断或额外的惩罚项。在 D4RL 和 OGBench 的 40 多项任务中，VAN-Flow 持续优于强基线；在长时域和高方差场景中，其性能提升最大，而在这些场景下，可靠的动作选择尤为关键。