深度灾难性风险感知强化学习

arXiv:2610.27214v1 公告类型：新 摘要：随着置信水平的提高，强化学习中的极端风险估计变得越来越困难，因为只有少量观测会对条件风险价值（CVaR）的经验估计产生贡献。本文将一种用于 CVaR 优化的极值理论（EVT）方法扩展到高维神经网络策略。通过采用超阈值模型表示和矩估计方法，我们获得了一个可微的尾部风险目标，并证明在给定所选阈值的条件下，其有限样本梯度可以直接通过自动微分计算。我们首先在一个具有已知最优解的受控实验中验证该方法，随后在一个包含罕见极端市场波动的深度对冲问题中研究其性能。结果表明，在正常条件下，经过 EVT 和经验 CVaR 训练的策略表现出相似的对冲行为；而在所考察的各种训练样本规模下，经过 EVT 训练的策略在极端情景评估中的对冲损失更低。这些结果表明，当与极端风险相关的观测数据稀缺时，EVT 可以为训练神经网络策略提供一种实用的替代方案。