ImplicitHop：评估跨上下文与记忆的知识整合

整合新信息并推导其后果的能力，是大语言模型（LLMs）学习、理解和推理的核心。无论信息是在训练期间还是在上下文中引入，模型都不仅需要存储局部事实，还必须将其长程影响传播至全局。为探索 LLMs 中的信息整合，我们提出了两个互补的自然语言基准，用于大规模评估演绎推理能力随推理深度的变化。第一个是形式化图基准，可针对广泛的图拓扑结构和整合任务开展受控评估；第二个是基于现实世界知识图谱的知识组合基准。我们使用这些基准，比较基于上下文中编码的信息与预训练期间模型权重中编码的信息进行知识整合的表现，并在不使用思维链的情况下，对一组开放模型进行隐式评估。我们发现，无论是预训练知识还是上下文中的知识，准确率都会随着组合长度的增加而急剧下降。然而，基于上下文中呈现的信息进行推理，其表现显著优于基于权重中编码的信息进行推导。这些结果量化了当前模型的一项根本局限，对基于提示的智能体行为控制和持续学习策略具有直接启示，并为开发支持更深层推理的训练、提示和整合方法奠定了基础。