超越奖励抑制：具有有界奖励的热启动 Bandit 上的近最优离线攻击

arXiv:2610.10000v1 发布类型：new 摘要：Bandit 上的对抗性攻击旨在误导学习器选择目标臂，同时将攻击成本控制在较低水平。现有攻击通常通过抑制非目标臂来实现这一目的。然而在实践中，虚假评论等操纵手段往往会直接推广目标项。我们通过研究具有有界奖励的热启动 Bandit 上的离线攻击来探讨这一差异：攻击者只能在部署前向热启动历史中注入有效的动作—奖励对。我们证明，目标推广并非仅仅是一种启发式方法：当目标臂的奖励接近下界时，任何针对 UCB、具有阶数量级最优成本且能使目标臂在几乎所有在线轮次中被选中的攻击，都必须将其成本中不趋于零的一部分分配给目标臂。随后，我们设计了一种能够实现最优次线性成本的攻击，并刻画其在目标推广与非目标抑制之间的分配。我们进一步将该攻击扩展到 Thompson Sampling、$\epsilon$-greedy 以及更广泛的 Bandit 算法类别。在真实世界数据和合成数据上的实验验证了我们攻击方法的有效性。