超越时间邻近性：用于强化学习信用分配的 Explanatory World Models

arXiv:2610.13504v1 公告类型：新论文 摘要：生成式推荐系统越来越多地使用强化学习（RL）来优化可能在决策后数百乃至数千次交互后才出现的结果。标准 RL 根据时间邻近性而非明确的相关性传播奖励，削弱了分配给时间久远但重要的动作的信号，成为样本效率低下的一个来源。我们提出 Explanatory World Models（EWM），这是一种归因框架，利用解释识别可能促成已实现结果的早期事件。我们使用前沿语言模型实现 EWM，并通过一种守恒的层次化算子将其解释用作学习信号；该算子递归地重新分配奖励，同时保持未折扣的回合回报不变。为了探究什么样的解释才有用，我们将受 Halpern 的实际因果关系、Lombrozo 的解释简洁性以及 Deutsch 的难以变动的解释启发的三种互补变体转化为可操作的方法。我们在两个受控的长时程 RL 基准、一个公开的序列推荐基准以及一个工业规模的生成式推荐系统上评估 EWM。在 Crafter 和 WordCraft 上，EWM 显著优于 PPO 和 LaRe，且在奖励延迟最严重时取得最大提升。在 KuaiRand 上，EWM 在离线评估中优于 SFT 和 LaRe，在在线评估中优于 A2C。最后，在对工业级生成式推荐系统的离线评估中，EWM 显著提高了召回率，并提升了行为代理指标。这些结果表明，解释能够为从延迟结果中学习提供结构化且可复用的信用归因。