少样本示例促使 LLMs 使用上下文中的世界表征

大型语言模型（LLMs）作为智能体时，预期能够利用上下文中的观测数据，推断支撑世界的潜在状态空间，并将其用于下游预测。然而，先前研究表明，在图跟踪任务中，LLMs 难以使用在上下文中学习到的表征。在该任务中，模型需要构建一个支配数据生成过程的图的表征，并将其用于后续预测。在本文中，我们表明，将这一设置扩展到少样本场景——其中每个示例都来自一个不同的世界，而这些世界具有相同或不同的图拓扑结构——能够提升 4 个模型系列中的 6 个模型的预测性能。为理解这种提升，我们使用线性探针对隐藏状态中的低维世界表征进行分析，该表征编码了图信息。值得注意的是，我们发现，少样本示例会重新定位世界表征，并增强其预测作用。具体而言，对于每个模型，这些世界表征会沿着几乎正交于其原始子空间的方向发生偏移；并且，与对其他子空间进行干预相比，对这些表征进行干预会更有选择性地损害模型性能。与这一发现一致，我们表明，使用来自不同世界的观测数据构成的少样本示例能够提升模型在 ARC-AGI-1&2、web agent 任务和 Othello 上的性能。我们的研究阐明了少样本示例在上下文世界建模中的作用及其内部机制。更广泛地说，本工作增进了我们对 LLM 智能体如何从上下文观测中学习的理解，并为进一步提升其能力提供了启示。