人工神经网络的涌现符号结构

现代人工智能（AI）系统在某些看似不适合它们的领域中却表现出色。智能传统上被建模为在结构化的符号组合上运作，例如逻辑公式。然而，最强大的现代 AI 系统基于神经网络，而神经网络则以连续向量来表示信息。向量似乎不足以捕捉语言、逻辑和其他认知领域的结构，但神经网络在这些领域却取得了令人印象深刻的表现。它们是如何做到的？在这项工作中，我们提出一种可能的答案：尽管表面看来并非如此，也许神经网络的内部表征在隐含地实现了符号结构。为支持这一假设，我们表明，多种神经网络的向量表征都可以被符号结构很好地近似：我们可以用一个实例化符号结构的闭式方程替换网络整个的表征生成过程，而网络的行为基本保持不变。这一发现既适用于为操作列表而训练的小规模神经网络，也适用于在符号传统中居于核心地位的四个领域中运行的大语言模型（LLM）：算术、逻辑、计算机代码和语言。此外，我们的符号近似使我们能够通过对其内部表征进行精确干预，以有针对性的方式修改 LLM 的行为，这表明 LLM 的行为依赖于我们已识别出的符号结构。这项工作为调和长期以来关于智能的符号主义观念与现代 AI 的向量基础特性提供了一种可能途径。