CoDR：无需训练的置信度漂移重掩码方法，适用于扩散语言模型

arXiv:2610.08833v1 公告类型：cross 摘要：掩码扩散语言模型（MDLMs）通过反复将词元提交到掩码位置进行解码，但这些提交通常是不可逆的。在稀疏、不完整的上下文中选定的词元会被固定，即使后续上下文已不再支持该词元。现有采样器主要决定何时提交词元，却很少检查已经提交的词元是否仍应保留，因此早期错误得以传播。我们将这一问题归因于置信度漂移：模型对已提交词元的置信度，会从提交时的稀疏上下文下降到之后可用的更密集上下文。基于这一信号，我们提出 CoDR（Confidence Drift Remasking），一种无需训练且与采样器无关的细化过程。CoDR 通过 k 分区探测，仅需 k 次前向传播即可估计所有已提交位置的漂移程度，然后仅对模型不再认可的词元重新掩码并重新生成。在两个骨干模型、四项推理与代码任务以及三种基础采样器上，CoDR 在所有评估的模型—采样器配置中均提高了平均准确率，并在大多数单项任务设置中取得提升，同时仅带来适度开销。受控实验表明，性能提升源于有针对性的置信度漂移重掩码，而不仅仅是额外计算量；此外，与先前的重掩码方法相比，CoDR 所需的前向传播次数大幅减少。代码见 https://github.com/YueWu0301/CoDR】【。