用于不确定性下语义承诺的 Credal Large Language Models

arXiv:2608.23244v2 公告类型：替换交叉版本 摘要：大型语言模型（LLM）经常以毫无根据的置信度生成流畅但错误的答案。其核心局限在于，标准 LLM 通过单一预测分布表示不确定性，将认识性无知与真正的歧义混为一谈。我们提出 Credal Large Language Models（CLLMs）：由一组 LoRA 适配器构成的集成模型诱导出一个信念集，其下概率和上概率揭示可能预测分布的分散程度，而不是将其压缩为单一的 softmax 输出。基于这一表示，我们推导出一种单一的承诺规则：仅当某个答案的下概率超过所有其他候选答案的上概率时，模型才承诺该答案；否则，模型返回所有可能的预测器都无法排除的答案集合。我们在两个层次上应用这一承诺规则：Credal Token Commitment（CTC）将其应用于一次集成前向传播中的答案 token，从而无需任何生成过程即可决定受约束的答案；对于开放式答案，credal 解码仅当没有任何已完成答案支配某个部分答案时，才会扩展该部分答案，因此生成的补全结果都是可能预测器所支持的结果；Credal Semantic Commitment（CSC）则将该规则应用于这些结果的语义聚类。我们使用 Gemma-2-9B、Llama-3.1-8B 和 Qwen2.5-7B，在 OpenBookQA、CoQA、TriviaQA 和 ARC-Challenge 上评估 CLLMs。在多项选择任务中，CTC 能对 73%–91% 的问题作出承诺，准确率达到 89%–98%；其返回的选项集合平均包含 1.1–1.5 个选项，并以 89%–98% 的比例包含标准答案；在无需校准的情况下，其区间在 30 个置信度分箱中的 24 个分箱内包含观测准确率。加入损坏的上下文后，承诺率从 87%–92% 降至 65%–71%；在 Gemma 上，credal 界检测损坏的能力优于所有基线方法。在开放式问答任务中，在固定覆盖率下，对于每一种骨干模型，CLLM 在带上下文的 CoQA 和 TriviaQA 上相较于 semantic entropy 和 Laplace-LoRA，准确率最高分别提升 19% 和 9.5 个百分点。