当正确的奖励仍然不够：在解析求解的经纪商—交易员博弈中诊断并引导 PPO

当复杂动态使解析策略难以获得时，强化学习（RL）正越来越多地用于金融最优控制问题。金融数学文献中有许多已经求解的模型，其方程和控制策略可以用于评估和引导学习；我们探讨 RL 是否能够利用这些结果。我们将一个近端策略优化（PPO）智能体置于一个解析求解的连续时间经纪商—交易员博弈中。PPO 替代经纪商，并在与知情交易员和随机非知情订单流交互的过程中选择交易速度。我们根据经纪商的连续时间收益推导出有限步奖励，并通过网格细化和一个精确的单步恒等式验证其离散实现。在没有非知情订单流时，经验证集选择的 PPO--FFNN 逐渐接近参考动作。在存在随机非知情订单流时，经过测试的 PPO--FFNN 和 PPO--LSTM 仍然不够准确，尽管监督学习证实它们的 actor 能够表示该动作。Monte Carlo 诊断表明，它们的 critic 无法可靠地对相近动作进行排序；基于势函数的奖励塑形也未带来可靠改进。在部分信息条件下，基于经纪商可观测历史的因果确定性等价控制器仍然接近参考策略，而 PPO 的误差更大、收益更低。最后，我们冻结解析策略，并训练 PPO 在执行成本发生变化后对其进行调整。将成本减半带来了可重复的改进，使其与变更成本后的参考策略之间的差距缩小了 \(2.22\%\)。因此，解析解既为诊断 RL 提供了基准，也为策略适应提供了有用的起点。