用于在线生成模型选择的 Mixture-Greedy：多样性感知多臂老虎机是否需要 UCB？
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
精选理由
提出无需显式 UCB 探索的 Mixture-Greedy 方法，提升生成模型混合选择的收敛速度与采样效率，并揭示多样性目标可促成隐式探索。
AI 摘要
arXiv:2603.21716v3 公告类型：替换 摘要：在现代生成式 AI 中，从多个生成模型中进行高效选择变得越来越重要，因为从次优模型中采样的成本很高。该问题可视为一项多臂老虎机（MAB）任务。在多样性感知评估分数下，生成器的非退化混合可以优于任何单个模型，这使得此类 MAB 设定不同于经典的最优臂识别问题。以往方法在混合目标中加入置信上界（UCB）探索奖励。然而，在多个数据集和评估指标上，我们观察到 UCB 项始终会减缓收敛并降低样本效率。相比之下，不采用显式 UCB 式乐观机制的简单 Mixture-Greedy 策略收敛更快，甚至能取得更好的性能，尤其是在 FID 和 Vendi 等难以构造紧致置信界的常用指标上。我们从理论上解释了这一现象：在特定结构条件下，多样性感知目标通过偏好内部混合解来诱导隐式探索，从而促使所有臂都得到采样，并为基于多样性的目标提供次线性遗憾保证。这些结果表明，在多样性感知多臂老虎机问题中，例如生成模型选择问题，探索可以内生于目标函数的几何结构。