Rectified Language Flow

连续状态流模型和扩散模型为快速、并行的语言生成提供了一条前景广阔的路径，但要达到自回归模型的生成质量仍面临挑战。我们提出 Rectified Language Flow（ReLF），这是一种利用修正流将噪声输运至词元嵌入来生成文本的语言模型。ReLF 结合了几项互补的设计选择：使用 Hellinger-SVD 构建的固定词元嵌入、以交叉熵训练的自条件引导，以及用于少步生成的正则化回流。我们进一步引入奇异 logits，将一个解析计算项与一个有界神经网络残差项相结合：前者在噪声消失时推动模型收敛至有效的词元嵌入，后者则学习上下文中的词元偏好。在 OpenWebText 上进行 64 次函数求值时，在所测试的全部三种模型规模下，ReLF 在多样性相当的条件下均实现了比自回归基线更低的生成困惑度，同时也优于该设置下已有的连续流方法。经过两轮回流后，ReLF 仅需 16 次函数求值仍能优于自回归基线，并且在批大小为 1 时，生成 1,024 个词元的序列的速度达到自回归基线的 15–19 倍。