语言模型中柏拉图式表征的理论

arXiv:2610.07168v1 发布类型：新 摘要：多语言语言模型中，翻译句子的表征在内部层中具有相似性——这一现象与柏拉图式表征假说有关，但尚缺乏理论解释。我们基于以下假设给出一种解释：数据具有隐藏的层次结构，其中抽象层级在不同语言之间共享，而表层则具有模态特异性或语言特异性。具体而言，我们从概率上下文无关文法中生成合成语言，这些文法共享高层级的生成规则，但不共享低层级的生成规则。在这一设定下，贝叶斯最优的下一词元预测器就是信念传播（BP）；将其消息编码到连续的层中，可以得到解析预测，并且这些预测与在相同数据上训练的 transformer 高度一致。该框架解释了为什么跨语言相似性在中间层达到峰值，为什么它与语言特定结构并存，以及为什么它会随着语言接近程度、模型质量和数据接触量的提升而增强。该框架区分了相似性（共享的邻域几何结构）与对齐（共享的坐标），并表明，当代码切换数据，即混合语言的句子，足够丰富时，后者才会出现。该框架还预测，从每一层中减去可由前一层线性预测的成分，会提高跨语言相似性；我们在预训练 LLM 中证实了这一点。