不破坏模型的引导：基于机制的离散扩散语言模型干预

arXiv:2605.10971v2 公告类型：替换 摘要：离散扩散语言模型（DLMs）通过迭代地并行对所有位置进行去噪来生成文本，为自回归模型提供了一种替代方案。从自回归模型移植而来的 DLMs 受控生成方法，会在每个去噪步骤施加统一干预。我们表明，这种统一调度效率低下且会降低生成质量；当联合引导多个属性时，这种损害还会累积。为诊断其失效原因，我们在四个 DLMs（参数量为 124M-8B）上训练稀疏自编码器，发现不同属性会按照不同的调度过程确定，其时机、陡峭程度和幅度各不相同。例如，在 MDLM 上，主题会在去噪过程的最初 2% 内确定，而情感则会在整个过程的 20% 内逐渐显现。受这些特征启发，我们提出一种自适应调度机制，将干预集中在各属性正在形成的阶段。理想化的分配分析预测，属性的显现越集中于某一时段，就越能从自适应调度中获益；我们通过实验证实了这一预测。在四个 DLMs 上开展的七项单属性和多属性引导任务中，相较于统一基线和区间限制基线，自适应引导始终改善了控制效果与生成质量之间的平衡。