面向决策的上下文线性优化策略内学习与部分反馈

arXiv:2606.01081v2 公告类型：替换 摘要：面向决策的学习（DFL）通过优化下游决策质量，而非单独的预测准确率，来训练预测模型。对于上下文线性优化，现有大多数 DFL 方法都假设使用离线数据，并且能够完整观测目标成本向量。我们针对部分反馈下的序列上下文线性优化，提出了一种策略内学习方法，将标准的 bandit 反馈设置进行了推广。我们的方法学习一种随机的“预测后优化”策略：从条件分布中采样成本向量预测，并求解由此得到的下游线性优化问题。为更新这一分布模型，我们引入了一种由两个部分组成的混合梯度估计器。第一部分是得分函数估计器，它能够提供无偏但可能具有较高方差的策略梯度估计。第二部分是面向决策的插件组件，它利用对潜在成本向量的辅助干扰估计来挖掘下游优化结构；随着该估计的改进，这一组件将提供更多信息。我们证明，策略梯度范数平方的平均值满足 O(T^-1/2) 界，与标准非凸 SGD 的收敛速率相匹配。在 top-k 选择、最短路径、组合定价以及真实数据能源调度基准上的实验表明，在 bandit 反馈下，混合梯度方法在全部四个基准上都比上下文 bandit 基线取得更低的平均累积遗憾，在其中三个基准上也优于线性 Thompson sampling；实验还表明，该方法同样适用于更丰富的条件生成式成本模型。代码可在 https://github.com/Joeyetinghan/on-policy-bandit-dfl 获取。