放手还是学会自我纠错：用于受约束离散任务的连续扩散

去噪扩散概率模型（DDPMs）通过从噪声开始并反复去噪来生成样本，同时使每次更新都接近当前的含噪状态。这种行为在许多连续域中都很有效，但对于具有全局约束的离散任务而言，其作用尚不明确，例如 Sudoku、图连通性、拉丁方和 N 皇后问题。在这类任务中，早期的离散错误可能很难纠正。因此，即使模型对无噪预测具有较强的信息性，标准扩散采样也可能保留早期错误。我们将标准采样器与直接从模型的无噪预测中采样的方法进行了比较。在无需重新训练的情况下，仅这一改变就将 Sudoku 的有效率从 31% 提高到 95%，并在其他离散任务中取得了稳定提升。我们推测，保持接近当前含噪状态之所以有害，是因为反向轨迹可能偏离模型训练所依据的前向加噪分布。为减少这种训练—测试不匹配，我们进一步引入了自我纠错训练，使模型接触自身的预测结果，从而增强其对推理过程中产生的错误的鲁棒性。这显著提升了标准采样器的性能。我们的结果表明，连续扩散模型能够学习复杂的全局约束，但离散推理任务需要更好地对齐训练与推理：要么使用减少对早期决策承诺的采样器，要么通过训练教会模型纠正其在推理时产生的错误。