预算约束下用于离策略评估的多源反事实标注

arXiv:2610.10974v1 公告类型：new 摘要：离策略评估（OPE）利用已记录数据估计目标策略的价值，但行为策略覆盖范围有限，可能迫使人们进行高方差重加权或奖励模型外推。反事实标注能够为未观测动作提供额外证据，但包括领域专家和大型语言模型（LLMs）在内的实际标注来源可能成本高昂、存在偏差或含有噪声。我们研究了上下文 bandit OPE 中此类标注的预算约束获取问题。在给定各来源的成本和误差特征后，我们针对上下文—动作对与标注来源制定整数分配问题，以最小化估计量方差中取决于标注方案的部分。我们通过首次标注阈值和局部标注价值区间刻画标注何时具有价值。针对耦合的多源问题，我们提出一种结合动态规划子程序的主化—最小化算法，能够单调改善目标函数。合成临床 bandit 和由 LLM 标注的教育 bandit 实验表明，与不进行标注相比，我们的分配方法分别将固定特征下的均方误差（MSE）降低了 20.58% 和 10.77%。