推理型 LLMs 中的序贯实验设计摊销

arXiv:2610.20832v1 公告类型：new 摘要：尽管大型语言模型（LLMs）拥有广泛的预训练知识和强大的推理能力，但它们仍难以在实验设计任务中自适应地收集信息。我们研究了如何将序贯贝叶斯实验设计（BED）摊销到 LLM 中，具体方法是利用信息增益奖励，对指导行动选择的推理过程进行显式训练。我们的方法将实验生成模型独立于 LLM 自身的信念，从而能够在所选模型下优化期望信息增益。我们探究了摊销设计中的各项选择，包括替代性的生成模型构造、奖励估计、假设空间设定、多步目标，以及相较于训练时和推理时 BED 基线的计算成本。在 Twenty Questions 上，所得策略提升了信息获取能力和任务表现，以显著更低的计算成本胜过推理时和训练时的 BED 基线，并且能够泛化到未见过的类别。我们进一步展示了从 Twenty Questions 训练到现实世界临床对话基准 Medi-Q 的正向迁移。这些结果表明，信息收集能够作为一种可泛化的推理技能被 LLMs 学习。