大规模流语言模型

连续流语言模型为并行生成提供了一条路径，并具备离散扩散模型所不具备的控制和加速工具，但在十亿参数规模上构建这类模型的有效技术仍不够成熟。我们提出了 Lafa（Large flow language model），一种以数据高效方式扩展至 8B 参数、速度快且性能出色的流语言模型。Lafa 是一种分块流模型，在前缀上采用因果注意力，在每个块内采用双向异步流。这种设计通过改造预训练自回归（AR）模型实现高效训练，并通过前缀缓存和分块并行解码实现快速推理。我们在 0.5B、7B 和 8B 规模上训练 Lafa，使用的 token 数少于 30B，相比以往的扩散模型更加高效；我们在指令遵循、推理和代码生成任务上对其进行评估，结果表明，所学习的流模型达到了与 AR 相当或更高的质量，并且可以蒸馏为流映射，以支持单步或少步生成。值得注意的是，流训练通过多 token 预测效应保留甚至提升了预训练 AR 模型的能力。基于此，我们设计了一种自推测解码方案，在单个模型内以自回归方式验证基于流生成的草稿。这使模型在质量相当的情况下达到 AR 模型 2.54 倍的吞吐量，优于多 token 预测和离散扩散方法。我们的研究结果表明，连续流可以作为语言建模的可扩展基础。