用于扩散语言模型并行解码的实测耦合

扩散语言模型每一步可以生成多个词元，但必须选择哪些词元可以安全地一并确定。均值场解码会惩罚预测结果相似的位置对。我们用耦合本身取代这一代理指标：确定一个词元会在多大程度上改变模型在另一个位置的置信度。主前向传播过程中的低成本探测即可测量这种耦合，无需训练或额外模型，并且可直接用于同一均值场规则。在三个模型和四个基准测试上，我们的方法所需步数远少于均值场解码，在大多数设置下速度也更快，使用键值缓存时亦是如此，而代价是准确率平均下降 1.1 个百分点。打乱耦合值或用统一奖励取代它们，都会使这一收益消失。