通过提问找到出路：通过广义谜题求解对多轮知识推理进行基准测试

由于谜题在部分信息下设定了可验证的目标，并要求通过多步决策达到解决方案，因此它们为大型语言模型（LLMs）的推理能力提供了天然的测试平台。然而，现有的谜题基准通常聚焦于机制僵化、解答目标高度受限的狭窄环境。为弥合这一差距，我们提出了 Active Probing Benchmark（APB），通过将概念识别构建为一种交互式推理任务，将专业知识评估融入谜题场景，从而推广谜题求解。具体而言，APB 评估模型能否通过多轮主动探测与推理获取信息，从八个多样化的学术领域中精准识别出 960 个具有专业难度的目标概念。我们的评估揭示了一个违反直觉的现象：大多数开源推理模型的表现显著逊于其标准指令模型对应版本。这一发现表明，在交互式场景中，这些模型难以运用程序性推理，可靠地获取和应用专业领域知识。除这些实证发现外，APB 还提供了一套可扩展的流程，用于生成能够在多样化场景下探测交互式知识推理能力的基准。