欺骗性老虎机问题：探索耦合与多智能体学习的脆弱性
The Deceptive Bandit Problem: Exploratory Coupling and the Fragility of Multi-Agent Learning
精选理由
揭示探索信息泄露如何操纵多智能体学习均衡，为安全设计与隐私保护提供理论依据。
AI 摘要
arXiv:2610.09120v1 公告类型：新 摘要：随机化探索是老虎机学习、多智能体强化学习和零阶策略搜索的核心，但其独立性和隐私性通常仅被视为技术性假设。我们表明，这些性质对于安全至关重要，并展示对抗性智能体如何利用另一智能体探索过程中的特权信息。我们在最简的双玩家强单调设置下分析一对欺骗者—受害者，其中欺骗性玩家获得与受害者探索过程仅存在相关性的泄露信号。我们证明，欺骗性玩家通过将自身的探索动作与该信息耦合，注入一种外部性，使学习动态转向新的稳态，称为欺骗性纳什均衡（DNE）。我们证明，欺骗性老虎机学习（DBL）动态会收敛到DNE的任意小邻域，同时保持最优收敛速率。有趣的是，我们的分析在放宽标准老虎机优化文献中的二阶光滑性条件的同时，仍然达到了这些最优速率。我们刻画了欺骗会严格改变稳态及其对欺骗者成本影响的条件，并在资源分配博弈中展示了这些结果。