Gacha Decoding：通过遵循指令引出多样化生成

我们提出了 Gacha Decoding，这是一种推理时方法，用于引出多样化的语言模型生成结果，并且能够随着模型能力的提升而扩展。在开放式领域（真实场景聊天、创意写作、图像生成规划和蛋白质设计）中，在质量相当的情况下，Gacha Decoding 显著优于现有的生成多样性方法（Vendi 最高达到次优既有方法的 2.4 倍）；它以少一个数量级以上的样本（11.0 倍）达到相同数量的高质量模式，并发现其他方法都无法呈现的新模式。我们的核心洞见是将多样性视为一个遵循指令的问题：我们不再依赖 LM 的词元熵，而是将其遵循指令的能力与外部 RNG 工具提供的随机性相结合，从而以可扩展的方式识别并实现响应空间中的不同模式。这种“用骰子进行规划”的方法使 Gacha 能够扭转长期以来多样性与模型能力之间的矛盾。随着底层 LM 更善于遵循指令，Gacha Decoding 下的多样性始终得到提升——即使其词元熵以及在既有方法下的多样性都在下降。总体而言，我们的结果表明，推动生成多样性的可以是遵循指令的能力，而不仅仅是词元熵。