深入观察 LLM：小世界连接性作为推理性能的标志

理解大型语言模型（LLM）的推理能力，需要超越行为表现，考察推理能力如何体现在其内部组织结构中。受神经科学研究发现的启发——功能性脑网络中更强的小世界组织与更高的智力相关——我们将小世界连接性作为 LLM 推理能力的结构性标志进行研究。我们根据注意力头激活相似性构建功能图，发现更高的小世界指数（SWI）能够刻画局部聚类和较短的全局路径，并且在不同模型和训练检查点中始终与更好的流体推理性能相关。由于局部聚类是小世界组织的核心，我们进一步考察对模型性能重要的注意力头如何在社区内部及社区之间建立连接。我们发现，这些注意力头往往有更大比例的连接权重位于自身社区内（核心分数较高），并且其跨社区权重分布更加集中（桥接分数较低）。这些观察结果促使我们提出如下假设：较高的核心分数和较低的桥接分数可作为注意力头对推理能力重要性的结构性指标。我们通过剪枝验证了这一假设，并提出 Small-World Allocation（SWA），一种由这些分数引导的分层稀疏分配方法。在六个 LLM 上，与其他分配策略相比，SWA 能更好地保持小世界组织和模型性能，使 WikiText 困惑度最高降低 20%。总的来说，这些发现表明，小世界功能连接性是 LLM 推理性能的一种可测量标志，为行为评估提供了结构性视角上的补充。