Large Language Bayes 并非重参数化不变

arXiv:2610.00265v1 公告类型：new 摘要：Large Language Bayes（LLB）通过从语言模型中采样候选概率程序、分别对每个程序运行近似推断，并以与指数化证据下界成正比的权重对它们进行平均，从而回答一个非正式的建模问题。我们表明，这种加权取决于模型的书写方式。对数边际似然具有重参数化不变性，而证据下界则没有。在八校数据集上，中心化程序和非中心化程序对应的测度相同，误差仅为 $5.7\times10^{-14}$，但它们的权重相差 $6.1\times$；重要性加权只能将这一差异降至 $2.2\times$。即使复现 LLB 实际运行的推断——使用与后验矩匹配的全协方差高斯分布——在八校数据集上仍有 $1.9\times$ 的差异，在 $64$ 维情况下则为 $8.9\times$。在不同的似然族、维度和漏斗严重程度下，这一差异最高达到 $31.9\times$，且符号会反转，因此不存在一种在所有情况下都更优的书写方式。它会颠倒相对于八个自然竞争模型的贝叶斯因子；模型后验以及任何下游目标所产生的误差，则由证据下界不足量的离散程度 $\Delta$ 控制，并可通过一个已知的尖锐希尔伯特距离界加以界定。在来自六个语言模型的 $360$ 个程序中，所书写参数化为中心化的比例从 $0\%$ 到 $100\%$ 不等，并且在同一模型内部保持稳定。在实际样本预算下，通过统计方法检测等价程序可能会错误地合并真正不同的模型；而验证我们自行生成的重参数化则不会出现这种情况，并能关闭这一漏洞。