下一最佳行动：面向商业行动定向的因果约束离线强化学习

Next Best Action（NBA）系统必须在客户干预措施（例如折扣、促销和生命周期行动）中进行选择，最大化长期经济价值，满足复杂的运营约束，并保持因果基础。现有方法缺乏一个能够同时满足这些要求的严谨框架。为弥补这一不足，我们将 NBA 建模为约束马尔可夫决策过程（CMDP）。随后，我们将对估计客户动态进行的离策略因果校正，直接整合到 CMDP 的线性规划（LP）表述中。由此得到的策略根据客户状态选择行动，在最大化长期价值的同时，显式执行业务约束。此外，LP 表述还能产生影子价格，用于量化运营约束（例如公平性和用户福利）带来的经济权衡，从而增强策略的可解释性。我们在一个涉及网约车优惠券定向的行业案例中验证了所提出的离线强化学习（RL）框架，其中客户状态由近因性、频率和货币价值（RFM）阶段定义。我们采用基于模型的离策略评估来衡量性能，并利用时间留出数据估计因果动态。在观测到的优惠券预算和 RFM 状态表示下，我们的优化策略相较于估计的行为策略将客户终身价值（LTV）提升了 19%，相较于短视基线提升了 8%。尽管示例中的行动空间是二元的，但所提出的框架与具体行动形式无关，可为管理多种干预措施的定向系统提供通用决策模块。