未知自适应策略下的老虎机迁移学习：问题依赖的下界与上界

arXiv:2610.21582v1 公告类型：新 摘要：随机多臂老虎机中的迁移学习通常假设先验数据构成一个固定的离线数据集，或由一个已知来源生成。在实践中，历史观测来自一个先前的自适应决策过程，而其策略是未知的。我们针对奖励取值于 $[0,1]$ 的情形研究这一设定。在在线博弈开始之前，学习者针对每个臂 $k$ 接收 $N'_k$ 个从未知分布 $\nu'_k$ 中独立同分布抽取的观测，这些观测由任意且可能依赖于数据的策略收集，因此样本数量 $N'_k$ 可能是随机的。已知源分布与目标分布的均值满足 $|\mu_k-\mu'_k|<L_k$，其中 $(L_k)_k$ 为已知常数。我们推导了一个渐近的问题依赖下界，并提出 KL-UCB-Transfer。该方法结合在线数据与历史数据，并在 $\mu'_a<\mu_1-L_a$ 时以改进的领先常数实现对数遗憾；在其他情况下，则恢复经典的 KL-UCB 保证。由于对源分布与目标分布之间的差异进行界定往往并不现实，我们将该假设放宽为单边条件 $\mu_k-\mu'_k<L_k$，并证明即使存在模型设定错误，对数遗憾仍可能保持，同时刻画了从性能提升、退化为较差的对数界，到保证失效的三个区间。仿真结果展示了利用由过程生成的历史数据所带来的实际收益。