从柏拉图到亚里士多德：迈向表征假说的一般理论

arXiv:2610.20286v1 公告类型：新论文 摘要：柏拉图表征假说（PRH）认为，能力不断增强的模型会趋向共同的表征。然而，近期研究通过邻域、生成树和距离来对齐表征，得出了不同观点。我们表明，这些观点之所以可能存在差异，是因为其背后的对齐准则位于同一个格的不同位置；我们将这一解释形式化为格表征假说（LRH）。在 LRH 下，PRH 所主张的收敛对应于格顶端的一致性，而其证据却来自邻居重叠这一接近格底端的准则。亚里士多德表征假说（ARH）将收敛限制在局部邻域内，因为校准保留了邻居重叠随模型规模增大而上升的趋势，却在很大程度上消除了中心化核对齐的这一趋势。我们表明，这种趋势的消失可能源于对跨层最大值的校准，因此全局收敛问题仍无定论。Back into Plato's Cave（BPC）根据邻居重叠在更大评估集上的骤降，推断模型之间存在粗粒度的共享结构；而我们发现，这一骤降至少部分源于固定数量的邻居所覆盖的距离变短。我们表明，Structure over Geometry（SOG）使用的生成树重叠指标在很大程度上只是重复衡量单一最近邻的重叠。LRH 也适用于独立训练的模型，其训练过程和目标函数决定了哪些准则能够在多次运行中得到可靠满足。我们分别针对线性自编码器的训练过程和有限对比 Gibbs 模型的目标函数证明了这一论断。在数十个预训练视觉模型和语言模型上的实验，以及对上述两种理论模型进行的数千次运行，均支持这些结论。我们希望这项工作能为建立表征假说的一般理论铺平道路，并提供一个用于分析这些假说及比较其证据的框架。项目页面：https://eethanshi.github.io/LRH