V-SHARE：基于优势的算法的可证明收敛保证

arXiv:2610.21448v1 公告类型：新 摘要：在强化学习中，与标准 Q-learning 不同，基于优势的价值学习方法将动作价值函数分解为依赖状态的价值分量和特定于动作的优势，从而在不同动作之间共享信息。尽管这一机制已在表格型和深度强化学习中展现出良好效果，但其理论理解仍不完整。我们提出 V-SHARE，一种基于优势的价值学习算法，将跨动作价值共享与重要性加权的 Bellman 残差校正相结合。据我们所知，我们首次对一种基于优势的算法给出了完整的理论刻画，包括渐近收敛性和非渐近有限样本保证。我们确定了这样一种情形：V-SHARE 能够缓解异步 Q-learning 中的稀有动作瓶颈，并揭示了更强的确定性收缩与增加的重要性加权噪声之间的收缩—方差权衡。受此权衡启发，我们设计了递减的残差预调度方案，在训练早期实现更快的收缩，同时降低渐近噪声。我们进一步开展了双时间尺度分析，在保持收敛保证的同时，消除了对单时间尺度残差阈值的要求。在离散马尔可夫决策过程（MDPs）和深度强化学习基准上的实验验证了我们的结果。