揭开 LLM-as-a-Judge 的神秘面纱：用于推理时扩展的可解析模型

arXiv:2512.19905v3 公告类型：替换 摘要：近期大语言模型的发展表明，将相当一部分计算资源从训练阶段重新分配到推理阶段具有优势。然而，推理时扩展背后的原理尚未得到充分理解。本文引入了一种推理时扩展的可解析模型：采用奖励加权采样器的贝叶斯线性回归，其中奖励由线性模型确定，用于建模 LLM-as-a-Judge 场景。我们在高维条件下研究这一问题，此时确定性等价关系给出了后验预测均值和方差的闭式表达式。我们分析了训练数据从教师模型中采样时的泛化误差。我们抽取 k 个推理时样本，并根据作用于二次奖励的某一温度参数，通过 softmax 进行选择。当奖励与教师模型的差异不大时，随着推理时样本数 k 的增加，泛化误差单调下降。然而，能够优化推理时选择的具体奖励通常不同于教师模型。相反，严重的奖励误设会导致一个有限的最优 k，超过该值后，增加采样次数反而会提高泛化误差。对于固定的 k，存在一个最优采样温度。我们在使用额外的大语言模型作为评判者的大语言模型推理实验中验证了这些事实。在教师模型作为奖励的“best-of-k”极限下，我们从理论上证明泛化误差以 Θ(1/k^2) 的速率衰减，并通过极值理论确定其主导系数。这些公式划定了在何种情况下扩展推理时计算资源在理论上优于收集更多数据。最后，我们证明，随着任务难度增加，前述推理时计算的优势会减弱。