SOL：通过双切片 Wasserstein 度量测量文本分布之间的差异

arXiv:2610.06513v2 公告类型：replace-cross 摘要：评估文本生成需要衡量生成分布与数据分布的匹配程度。对于自回归模型，这通过困惑度实现。扩散语言模型和基于流的语言模型只能提供似然下界，而不同模型系列的下界紧致性有所不同。带熵的生成困惑度等基于样本的替代方法没有考虑分布拟合程度。我们提出了 SOL，一种用于衡量文本分布之间距离的方法。每个序列都表示为固定 Transformer 下其隐藏状态的经验测度，并通过双切片 Wasserstein 距离比较这些测度的分布。我们证明，当 Transformer 是单射时，SOL 是一种度量。实验表明，SOL 能够检测分布失效，重现预期的模型趋势，并提供稳定的基于样本的估计。我们提出 SOL，旨在弥补当前用于非自回归模型的评估流程中的空缺。作为第一步，我们使用 SOL 重新评估了在 OpenWebText 上训练的多种模型。