为你的提示词加噪：在连续扩散语言模型中对条件词元加噪

arXiv:2610.09145v1 公告类型：新 摘要：我们重新审视了连续扩散语言模型文献中一种普遍接受的做法：在训练过程中始终保持条件提示词元不受噪声干扰。我们进行了一个非常简单的修改：在训练过程中也对条件提示词元加噪。我们证明，在这一修改后的训练目标下，模型在 Sudoku 和 N-Queens 等组合推理任务上实现了更好的泛化能力，其中在更困难的变体上提升最大（Sudoku Hard 的解题率从 $3.73\%$ 提升至 $24.65\%$），并提高了生成解的多样性（在 10x10 N-Queens 上的覆盖率从 $50.60\%$ 提升至 $73.79\%$）。我们还通过 Gigaword 摘要任务展示了在数据集规模较小的情况下，自然语言生成质量得到可测量的改善；但值得注意的是，这些提升并不能迁移到所有自然语言任务（例如开放式对话生成）。我们的方法只需对训练目标进行一行修改，默认情况下无需额外的推理成本，并提供了受 classifier-free guidance 启发的引导式采样灵活性。我们的代码已公开发布：https://github.com/LateralIntelligence/noise-your-prompt】【。