无需世界模型的世界属性：分布关联与语言模型解码结果的解读

arXiv:2603.04317v2 公告类型：replace-cross 摘要：越来越多的研究表明，可以从大型语言模型（LLMs）的激活中线性解码出各种变量。这些变量既包括城市位置、历史人物生卒时间等世界属性，也包括情绪和疼痛。这类发现常被视为证据，表明语言模型超越了表层文本统计，并形成了内部世界模型。我们发现，对于相同或匹配的刺激材料，静态词嵌入（从语料库统计中学得的固定、不随上下文变化的表征）也能在很大程度上支持同样的解码。在四项已发表的研究案例（地点、时间、疼痛和情绪）中，静态向量能够预测坐标和去世年份（R^2 = 0.42–0.59），区分疼痛句子与匹配的对照句子（留出集 AUC 为 0.85–0.88），并对刻意避免直接提及情绪名称的故事中的十二种情绪进行分类（AUC 为 0.84–0.88）。由于静态词嵌入为每个词赋予一个不依赖上下文的单一向量，这些结果构成了仅凭词语关联所能达到的性能下界。LLMs 在表征测试中仍具有明显优势，而因果和行为层面的发现仍不在这一基线的适用范围内。对于原作者使用的实体，我们复现了其 Llama-2 的结果，发现 transformer 的优势主要在于将历史人物归入正确的世纪、将地点归入正确的国家；这种粗粒度分类预计可以通过更丰富的词语关联得到改善，而在这些组别内部，所有表征对条目的排序都表现不佳。经过消歧的 Wikipedia 实体的静态向量承载的是特定地点或人物的关联信息，而非其名称中各个词的关联信息；这些向量弥合了大部分剩余差距，在坐标预测上达到 Pythia-2.8B 的水平，在去世年份预测上达到 Llama-2-7B 的水平。这些结果表明，仅凭可解码性，无法区分某种属性的表征与固定分布关联中已有的信息。