线性函数逼近下的分段奖励反馈强化学习

arXiv:2610.08271v1 公告类型：新增 摘要：经典强化学习（RL）假设每个访问到的状态-动作对都会获得奖励。然而，在自动驾驶等现实应用中，这种细粒度反馈可能成本高昂或难以收集，而轨迹级反馈又可能过于稀疏，难以实现高效学习。为了提供一种连接这两个极端并能够处理大规模状态空间的通用反馈模型，我们研究了线性函数逼近下具有分段奖励反馈的强化学习。我们的工作回答了分段反馈的粒度以及分段方式的选择如何影响学习这一问题。对于长度相等且转移已知的分段，我们分别针对二元反馈和求和反馈设计了算法 \bitssegd 和 \edlinucbsegd。它们采用结合规划的后验采样来实现计算效率，并采用 E-最优实验设计以达到近乎最优的性能。我们还建立了几乎匹配的下界。对于长度相等但转移未知的分段，我们提出了统一的 \seglsvits 框架，并针对二元反馈和求和反馈分别给出两种具体实现；该框架将后验估计的奖励参数谨慎地融入最小二乘价值迭代中。这些结果揭示了一个基本规律：在二元反馈下，增加分段数量会通过指数因子显著降低遗憾；而令人意外的是，在求和反馈下，分段粒度对学习效果的影响并不大。最后，为研究依据状态-动作特征进行分段是否能够进一步加速学习，我们设计了允许任意分段的算法 \uneqsegbitsd。所得遗憾界表明，在通常的椭圆势分析下，状态-动作特征对遗憾的影响仅通过对数因子体现，而等长分段能够达到最佳性能。