好的生成器是优秀的决策者吗？通过重定向反事实生成进行一般干预的策略学习
Are Good Generators Good Decision-Makers? Policy Learning for General Interventions via Retargeted Counterfactual Generation
精选理由
通过反事实生成与策略迭代，提升高维干预决策的准确性与泛化能力
AI 摘要
arXiv:2606.07399v3 公告类型：replace-cross 摘要：生成模型越来越多地被用于支持复杂系统中的决策，其中干预可能是联合且高维的，结果也可能是高维的。然而，在这些决策场景中使用生成器面临三个问题。首先，生成器通常基于含噪日志进行训练，而其中的干预数据有限。其次，生成器学习在不同环境之间可能存在噪声。第三，生成器并未针对其所支持的决策进行优化。我们提出了通过重定向反事实生成进行策略学习的方法，该方法分三步训练用于支持决策的生成器。我们（1）学习一个针对高维干预和结果的双重稳健、不变的反事实生成器；（2）基于其展开结果进行策略学习；（3）将生成器重新定向到所学习策略的干预，并重新学习策略，从而使生成器在决策发生的区域内保持准确。从理论上看，我们的生成器具有带双重稳健乘积余项的超额反事实风险，而重定向则从遗憾中消除了日志策略与学习策略之间的最坏情况密度比。我们在合成数据、SARS-CoV-2 感染细胞的 Cell Painting 图像以及物理视频模拟上展示了该方法的有效性。