超越线性概念：发现并对齐大型语言模型中的非线性概念流形

arXiv:2610.01821v1 公告类型：新 摘要：理解大型语言模型（LLM）中的信息处理，需要剖析其内部 token 表示的几何组织方式。尽管现有的机制可解释性（MI）方法试图提取概念，但它们受制于强线性假设，而越来越多关于非线性特征流形的证据对这一假设提出了挑战。我们通过将计算机视觉领域的非线性多维概念发现（Non-Linear Multi-Dimensional Concept Discovery，NLMCD）适配到 LLM 的 token 级激活上，超越线性概念，并将概念建模为低维流形。为了比较不同层和不同模型中的概念流形，我们引入了基于概念的对齐（CBA）分数，这是一种广义 Rand 指数，无需显式特征匹配即可衡量几何邻近性。我们的分析得出六项关键发现：（i）相邻层的合理性检验表明，CBA 比基于 PCA 或 CKA 的线性基线更加敏感；（ii）逐层对齐矩阵揭示了中间层和后期层中的两种块状结构，这一结构在不同模型中具有一致性，却被线性指标所掩盖；（iii）在网络的大部分层中，概念组合始终以句法为主，随后在更后面的层中逐渐转变为混合程度越来越高的句法—语义概念，并且朝向最终层的输出导向性不断增强；（iv）英语与中文之间的多语言概念共享取决于训练，而非普遍存在：在 Qwen 中最强，在 Llama 中较弱，在 GPT-2 中则不存在；（v）模型间的对齐呈现出相同结构：不同规模的同系列 Qwen 模型之间具有较强的对应关系，而不同模型系列之间的对齐较弱；（vi）在 Tulu-3 的训练阶段之间，相邻阶段的对齐程度最高，基础模型与 SFT 之间的变化最大；而后续的偏好对齐阶段（DPO、RLVR）基本不改变早期层，且 RLVR 在后期层大体保留了 DPO 的概念。