Power-SMC：用于免训练 LLM 推理的低延迟序列级幂采样

arXiv:2602.10273v3 公告类型：替换交叉版本 摘要：大型语言模型的推理能力通常归因于\emph{分布锐化}：将输出概率集中到高似然序列上。近期研究表明，这种锐化效果可以在推理时获得，无需修改模型参数，并且能够激发强大的推理性能。一种自然的形式化方式是\emph{序列级幂分布}，其与模型概率的 $\alpha>1$ 次幂成正比。先前的工作利用 Metropolis--Hastings（MH）采样从该分布中抽取样本，并取得了出色的结果，但推理速度降低了一个数量级。我们提出了\textbf{Power-SMC}，一种\textit{“免训练”}采样方法，目标是相同的幂分布，同时实现接近标准解码的延迟。Power-SMC 并行维护多个候选序列。每个候选序列都会被赋予一个分数，即\emph{重要性权重}，用于衡量其与幂分布的匹配程度。随后，Power-SMC 会定期剪枝低分候选序列，以保留高分候选序列。我们进一步为 Power-SMC 中的设计选择提供了理论依据。在所有不依赖未来词元的下一词元采样策略中，我们证明采样温度 $\tau{=}1/\alpha$ 能够唯一消除每步权重方差。最后，我们刻画了权重不稳定性的剩余来源，并引入渐进式锐化调度，以减少权重坍缩，同时仍以相同的幂分布为目标。在 MATH500、GSM8K、GPQA 和 HumanEval 上进行的大量评估表明，Power-SMC 的准确率达到或超过 MH 采样；与经过 RL 微调的模型不同，它能够保持输出多样性，同时\textbf{将推理速度最高提升至} {$\mathbf{17.6}\times$}。代码可在 https://github.com/ArminAzizi98/Power-SMC 获取。