LLaCO：采用竞争感知语义调度的大语言模型连续扩散

连续扩散模型已成为一种颇具前景的非自回归范式，用于在连续嵌入空间中生成文本。沿着连续轨迹，残留的词元身份直接塑造去噪目标。然而，几何轨迹与时间推进并不对齐，从而引发严重的时间压缩。本文表明，嵌入范数衰减会导致欧氏距离产生虚假的超越现象，这说明必须从方向角度评估词元竞争。在这一空间中，只有当有效噪声幅度超过候选词元与源词元之间的语义间隔时，候选词元才会超越源词元。我们将这些成对动态形式化为竞争阈值理论（CTT）。关键在于，高维空间中的超越需要极高的噪声水平，导致标准轨迹将身份衰减集中在靠近噪声端点的狭窄区间内。为解决这一问题，我们提出语义保留调度（SRS），使时间分配与身份衰减进程对齐，并证明现有的词元身份度量本质上是这些成对交叉事件的统计聚合。基于这些理论洞见，我们提出 LLaCO，这是一种由竞争感知语义调度驱动的生成框架。LLaCO 通过嵌入方向适配器和以时间步为条件的调制，使预训练骨干网络适配连续表示。为在方向空间中运行，LLaCO 采用球面加噪过程，将其表述为朝向掩码偏置端点的测地线插值，在消除范数衰减的同时保留准确的词元竞争关系。在 SRS 的指导下，LLaCO 按对数排名衰减的比例重新分配去噪轨迹。作为一个 8B 模型，LLaCO 优于此前的连续扩散基线，并可媲美规模相当的离散扩散模型。