具有保形动作集合的强化学习：在序列推荐中的应用

序列推荐器通常采用固定的候选列表大小，尽管一个会话中有用备选项的数量会不断变化。我们提出强化学习校准剪枝方法（RLCP），利用评论家评分和在线阈值调整保留的动作集合。该阈值根据二元反馈进行更新，该反馈表示集合是否包含代理目标中的某个动作。我们证明了自适应轨迹上观测到的代理目标漏检率的一个确定性界。为量化剪枝对奖励的影响，我们将价值损失精确分解为过滤损失和选择损失。在明确的代理目标与评论家近似条件下，该分解给出了有限会话奖励界，同时考虑了不完美选择和集合截断的影响，而无需学习参数收敛。在 KuaiRand-Pure 和 MovieLens 1M 上的实验将两种 RLCP 实现与四种 RL 基线进行了比较。在 19 种配置中，每种配置至少有一种 RLCP 变体取得最高的目录多样性，达到最强基线的 1.11 倍至 5.21 倍，同时保持具有竞争力的会话深度，且保留的集合并未更大。