基于保序动作集的强化学习：在序列推荐中的应用
Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation
精选理由
通过自适应动作集提升推荐多样性，并为剪枝收益损失提供理论保证。
AI 摘要
arXiv:2610.08743v1 公告类型：新 摘要：序列推荐器通常使用固定的候选列表大小，尽管一个会话中有用备选项的数量会不断变化。我们提出带校准剪枝的强化学习（RLCP），利用评论家评分和在线阈值调整保留的动作集。该阈值根据二元反馈进行更新，这些反馈表明动作集是否包含代理目标中的某个动作。我们证明了自适应轨迹上观测到的代理目标遗漏率的一个确定性界。为量化剪枝对奖励的影响，我们将价值损失精确分解为过滤损失和选择损失。在明确的代理目标和评论家近似条件下，该分解给出了有限会话奖励界，同时考虑了不完美选择和集合截断的影响，而无需学习参数收敛。我们在 KuaiRand-Pure 和 MovieLens 1M 上进行实验，将两种 RLCP 实现与四种 RL 基线进行比较。在 19 种配置中的每一种配置下，至少有一种 RLCP 变体实现了最高的目录多样性，达到最强基线的 $1.11\times$ 至 $5.21\times$，同时保持具有竞争力的会话深度，且保留的动作集并未更大。