LLMs 是否在数学推理中表现出连贯的知识结构？来自知识空间理论的视角

人类知识本质上是结构化且相互依赖的：掌握一个概念需要先掌握其前提条件，这一原则可由知识空间理论（Knowledge Space Theory, KST）形式化。尽管 LLMs 在复杂推理任务上取得了很强的表现，但它们是否表现出连贯、类人的知识结构仍不明确。我们提出一个基于 KST 的框架，用于评估 LLMs 在数学推理中的知识结构，并将其作为一个规范性框架来分析 LLM 行为是否遵循有原则的知识依赖关系。我们将八个开源和闭源 LLMs 与真实人类学习者进行评估，发现：(1) LLMs 并不遵循人类知识结构——它们经常违反知识依赖关系，也无法利用上下文中提供的相关知识来提升对依赖性问题的表现；(2) LLMs 彼此之间也不共享一致的知识结构，这体现在其知识分布重叠度较低。此外，这些结构性缺陷在很大程度上不会被基于准确率的评估以及 LLM-as-judge 评估所发现。总体而言，我们的结果提供了行为层面的证据，表明当前 LLMs 的知识并不遵循类人的结构。