超越时间邻近性：用于强化学习信用分配的 Explanatory World Models

生成式推荐系统日益采用强化学习（RL），以优化可能在某次决策之后数百乃至数千次交互才出现的结果。标准 RL 根据时间邻近性而非明确的相关性传播奖励，削弱了分配给时间久远但重要的动作的信号，成为样本效率低下的一个根源。我们提出 Explanatory World Models（EWM），这是一种归因框架，利用解释识别可能对已发生结果作出贡献的早期事件。我们使用前沿语言模型实现 EWM，并通过一种守恒的分层算子将其解释用作学习信号；该算子递归地重新分配奖励，同时保持未折扣的回合回报不变。为探究何种解释具有实用价值，我们将受 Halpern 的实际因果关系、Lombrozo 的解释简洁性和 Deutsch 的难以变动的解释所启发的三种互补变体具体化。我们在两个受控的长时程 RL 基准、一个公开的序列推荐基准和一个工业级规模的生成式推荐系统上评估 EWM。在 Crafter 和 WordCraft 上，EWM 显著优于 PPO 和 LaRe，且在奖励延迟最严重时取得最大提升。在 KuaiRand 上，EWM 在线下优于 SFT 和 LaRe，在线上优于 A2C。最后，在对工业级生成式推荐系统的离线评估中，EWM 显著提高了召回率，并提升了行为代理指标。这些结果表明，解释可以提供结构化且可复用的信用分配信息，以支持从延迟结果中学习。