Conditional Vendi Score：面向生成式 AI 模型和 LLM 的提示感知多样性评估

arXiv:2411.02817v3 公告类型：替换 摘要：文本提示引导的生成模型在保真度和提示对齐方面得到了广泛评估，但其生成多样化输出的能力仍缺乏充分研究。现有的多样性指标（如 Vendi 和 RKE）基于核矩阵的冯·诺依曼熵和 Rényi 熵，是为无条件模型开发的，无法区分由提示引起的变异与由模型引起的变异。为弥补这一不足，我们提出了 \textit{Conditional-Vendi} 和 \textit{Conditional-RKE}，这两种多样性度量由半正定矩阵的条件熵推导而来。这些评分能够分离出提示引导生成过程中由模型引起的多样性，其中 Conditional-RKE 具有 $O(1/\sqrt{n})$ 的收敛速率。对于 Conditional-Vendi，我们引入了一种截断谱近似方法，可提供具有可扩展性和一致性的估计。在文本生成图像、图像描述生成和 LLM 任务上的实验表明，这些条件评分能够恢复真实的多样性排序，还能引导扩散模型生成更多样化的样本。代码库见 https://github.com/mjalali/conditional-vendi。