语言模型神经元中的原型语境：一种智能架构？

arXiv:2611.07234v1 公告类型：交叉收录 摘要：我们验证了此前提出的假设：语言模型将关系模式与使其具体化的主题领域分开存储（Nordfors，2026）。这些原型语境是人们能够在许多领域中识别出的关系模式，例如临界点或赢家通吃；它们只需存储一次，即可跨领域应用。我们在 Qwen3.8-27B 模型内部展示了这一点。一组神经元承载原型，例如临界点；另一组承载主题，例如政治、生态学或细胞生物学；第三组承载语言，例如英语、西班牙语或中文。将承载临界点的神经元静默后，模型不再能识别这一模式，但仍然知道文本讨论的内容。将承载主题的神经元静默后，模型会丧失对主题的识别能力，但仍能说出模式的名称。在神经元图谱中，各层自发组织成一种三明治式结构：外层承载语言，其内侧的层承载主题，核心层承载原型。这种三明治式结构在预训练期间自发涌现，并出现在我们绘制图谱的每一个模型中。原型是实现类比的架构，我们据此强烈推测，这种由原型和主题构成的结构就是语言模型智能的实现机制：我们观察到，它会随着模型训练而自组织形成。相关神经元、文本和代码随本文一同发布，构成复现材料包，以便任何人都能在模型内部重复这项测试。