TIPS：扩散语言模型中的微型推理时扩展策略

arXiv:2610.22099v1 发布类型：新 摘要：掩码扩散语言模型提供了一种推理时选择：在每次去噪过程中，哪些位置变为可见。许多现有解码方法采用人工设计的规则，或要求可见范围单调增长。我们提出了一种用于扩展的微型推理时策略（\(\textbf{T}\)iny \(\textbf{I}\)nference-time \(\textbf{P}\)olicy for \(\textbf{S}\)caling，\(\textbf{TIPS}\)），这是一个约有 $600$K 个参数的控制器，在保持底层语言模型冻结的同时，同时学习取消掩码和重新掩码。TIPS 使用感知可见性的置信度特征和浅层 Transformer 来选择应当可见的词元，而固定调度控制预期的可见比例。我们先通过监督式预热训练控制器，随后使用来自终局正确性奖励的强化学习进行训练。在 GSM8K 和 MATH-500 上，使用 LLaDA-8B-Instruct 时，完整画布版和双块版 TIPS 变体在 $32$ 次解码器评估的预算下，分别达到了 $58.46\%$ 和 $57.97\%$ 的微平均准确率，较主要比较中最强的基线分别高出 $12.1$ 和 $11.6$ 个百分点。两种变体均在 $32$ 次评估的预算下训练，并且无需重新训练，在更高预算下仍具有竞争力。这些结果表明，学习何时揭示并重新考虑词元，可以在不更新解码器骨干网络的情况下，改善准确率与计算量之间的权衡。