用于免训练推理时扩展的解耦边缘锐化

arXiv:2610.20483v1 公告类型：新论文 摘要：我们研究如何在不更新模型权重、不使用外部奖励模型的情况下，在推理时提升大语言模型的推理能力。近期的无奖励幂采样方法定义了序列级幂目标分布 $\pi_\alpha(y\mid x)\propto p_0(y\mid x)^\alpha$，其中 $\alpha>1$，从而提高基础模型下原本就具有较高概率的补全序列的相对概率。现有方法使用 Metropolis--Hastings 或序贯蒙特卡洛（SMC）从该目标分布中进行近似采样。然而，在不同层面上存在两个挑战。在目标分布层面，全序列锐化可能将概率集中在少数特定的推理—答案轨迹上，抑制支持同一答案的其他路径。在采样器层面，当重采样反复复制少数高权重前缀时，有限粒子 SMC 可能出现路径坍缩。为应对这些挑战，我们提出 Decoupled Marginal Sharpening（DMS），分别控制模型对特定推理路径的偏好强度，以及在汇总这些路径的支持后对最终答案的偏好强度。在目标分布层面，DMS 首先从锐化后的推理分布中采样，然后在得到的加权推理样本群体上对模型的答案概率进行边缘化，并锐化由此产生的答案边缘分布。独立的指数参数允许先通过温和的推理锐化鼓励探索多样化路径，再通过更强的答案边缘锐化，将概率集中到在这些路径上获得更多总体支持的答案上。在采样器层面，我们开发了 Fully Adapted Annealed SMC，将退火幂目标分布序列与局部完全适配的提议分布和预测式祖先重采样相结合。在三个基础模型上针对 MATH500、GPQA-Diamond、HumanEval 和 AIME24/25 开展的实验表明，在所有任务中，DMS 的平均 pass@1 均在所比较的方法中最高。