面向语言模型的 Dutch book

人们越来越多地使用语言模型来支持生活决策。许多此类决策都涉及概率预测：重大人生事件、自然灾害或经济结果发生的可能性有多大？语言模型的用户可能会默认信任这些预测源自一个一致的世界模型。本文通过一种基于 de Finetti 定理的程序，评估语言模型概率预测的一致性。我们从由股票收益数据生成的事件中诱导语言模型给出预测。随后，我们使用线性规划计算最大的 Dutch-book 利润——即套利者通过与模型生成的概率对赌能够保证获得的利润——并将其用作不一致性的度量。我们的方法不需要结果标签，因此即使在结果尚未被观测到或尚未揭晓的场景下，也能评估一致性。我们发现语言模型的预测存在大量不一致性的证据。当事件之间存在更丰富的逻辑关系时，这种不一致性会加剧；而无关的上下文细节则可能使不一致性增加一个数量级。最后，我们讨论了替代训练策略如何改善概率一致性。