Binary Discrete Diffusion：用于逻辑和规划任务的候选集扩散

离散扩散模型通过迭代地对文本等类别数据序列进行去噪，实现任意顺序生成，并具备自我纠错和填充能力。这使其有望应用于推理、规划以及编程和数学等受约束生成任务。然而，掩码式和均匀式扩散会在一次扰动事件中抹除 token 的身份，因此其噪声状态无法明确表示这种部分已解析的不确定性，即仍有多个候选项看起来合理。我们通过 Binary Discrete Diffusion 弥合了这一差距。这是一类连续时间离散扩散过程，其噪声状态表示每个位置的候选 token 集合，并通过二进制成员向量进行编码。二进制扩散通过添加和移除元素来改变候选集，使信息能够逐步丢失和恢复，同时扩散状态本身也能表示部分不确定性。在 Sudoku-Extreme、Boxoban 和图着色任务上，在架构匹配且训练、采样和调优预算受控的条件下，对称形式的二进制扩散始终优于经过充分调优的掩码式和均匀式强基线；其在最困难实例上的提升最大，同时在语言建模任务（Text8、TinyStories、OpenWebText）上也保持了竞争力。这些结果表明，候选集可以作为迭代推理的有效中间表示，也说明扰动核能够实质性地改变逆向模型所学到的计算过程。