面向决策的基于样本的生成模型训练
Decision-Aware Training for Sample-Based Generative Models
精选理由
面向决策成本优化生成模型训练,让概率预测更精准服务高风险场景。
AI 摘要
arXiv:2607.01171v2 公告类型:替换 摘要:基于样本的生成模型正越来越多地用于高风险决策场景中的概率预测,但其训练目标没有考虑决策者的成本结构。这些模型通常使用严格真评分规则进行训练,例如 energy score;这类规则按照数据密度分配训练信号,却无法感知预测误差在下游决策中哪些位置的代价最高。因此,我们提出了面向决策的基于样本的生成模型训练方法,在 energy score 目标中加入可微分的决策损失,直接惩罚依据模型预测采取行动所产生的成本。该组合损失具有理论基础,因为决策损失本身就是一种真评分规则。我们通过可微分优化层计算决策损失。其梯度集中于输出空间中对成本敏感的区域,因此该方法的影响具有可解释性,并且可以根据成本结构进行预测。我们在一个合成任务和两个现实世界任务上验证了该方法。在合成任务中,该方法修正了所学习双峰分布的模态权重;在风电调度任务中,它将改进集中于罕见但代价高昂的尾部区域;在霜冻防护任务中,它提升了对决策成本的预测能力。我们的方法能够生成保留完整概率预测能力的生成模型,同时使其更好地契合决策者特定的成本结构。