诊断和改进大型语言模型中的概率推理

大型语言模型（LLMs）日益被提出作为决策助手，必须在明确的决策成本下，根据可用证据进行概率推理。我们提出了一个决策理论框架，将 LLMs 的决策损失分解为两个部分：根据所提供的证据形成准确的信念，以及将这些信念转化为能够优化给定效用函数的行动。我们使用一个具有已知真实答案的合成基准，应用这一分解来刻画前沿模型和开源模型中的概率推理。我们进一步评估了针对信念、决策或两者的 RL 干预是否能在三个领域中改善这两个组成部分，改进是否能在不同组成部分和诱导格式之间迁移，以及决策表现能否在信念形成没有改善的情况下得到提升。我们发现，针对概率推理的某一个组成部分会重新分配决策损失，使目标组成部分得到改善，但不一定能迁移到其他组成部分；同时针对信念形成和决策制定则能改善两者，但这一效果取决于训练与评估所采用的格式是否匹配。