从提示词到后验分布：LLM Agents 能否在上下文中执行贝叶斯推断？

大型语言模型（LLMs）正日益应用于科学发现流程的各个环节，从综合文献、生成假设到为实验设计提供信息。这些任务背后有一个统一原则：随着证据不断积累，持续更新信念，而贝叶斯推断为此提供了一个自然的框架。然而，现有研究假设 LLMs 无法在上下文中进行有原则的贝叶斯信念更新，而是依赖简化方法和启发式方法。为挑战这一假设，我们对 LLMs 的贝叶斯推理能力进行了系统评估，同时分析模型的内部一致性及其恢复外部确定后验分布的能力。具体而言，我们构建了一个评估框架，涵盖用于探究概率一致性的定性认识论示例、衡量贝叶斯推断能力的定量基准，以及非贝叶斯更新对下游任务性能影响的分析。在不同场景下，我们发现 LLMs 在上下文中更新信念时通常会违反贝叶斯规则。然而，当配备现代推理能力和代码执行能力后，其性能会大幅提升，甚至能够近似解析上难以处理的后验分布。我们的评估表明，当前能够访问适当工具的 LLMs 已经可以用于在科学发现中进行复杂的信念更新，从而推动 AI 驱动的科学发现效率和规模快速提升。