Pinocchio：用于黑盒语言模型的快速不确定性估计

在大语言模型（LLMs）的高风险决策应用中，从业者不仅需要准确的 LLM，还需要对其预测的不确定性估计。现有的 LLM 不确定性估计方法需要访问模型输出的对数概率，或需要微调访问权限。然而，许多工业 LLM 产品使用闭源 API 模型，而许多此类 API 模型（如 GPT）不返回对数概率，也可能不允许微调。我们介绍 Pinocchio，这是一种外部校准器，用于估计黑盒 API 模型响应的正确性。它在来自七个 LLM 的响应上联合训练，在预测这些相同模型留出的响应正确性时达到 0.862 AUROC，并展示了对八个组织的十三个未见模型的零样本迁移能力。我们的模型只需要一次前向传播即可生成不确定性估计，并且不需要访问目标模型的 logits、权重或内部状态。一个仅文本的轻量级 0.8B checkpoint 达到了我们最大模型的 AUROC。我们发布了代码，只需额外两行代码即可为现有 repo 添加不确定性估计。