原生几何 vs. 线性可恢复性：对齐如何改变柏拉图式缩放
Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
精选理由
揭示模型变大提升的是线性可恢复性，而非原生几何一致性，厘清表征对齐的含义。
AI 摘要
arXiv:2610.22749v1 公告类型：new 摘要：更大的模型是否会学习到越来越相似的同一世界表征？柏拉图表征假说（PRH）预测它们应当如此，但“相似”可能指原生余弦几何——在进行任何学习到的对齐之前，由余弦相似度诱导的最近邻结构——也可能指线性可恢复性，即通过监督式线性映射揭示的对应关系。我们使用五个模型系列中相匹配的 Legacy Survey 和 Hyper Suprime-Cam（HSC）嵌入，发现与原生余弦几何相比，Ridge 对齐强化了模型规模与跨数据集邻域对应关系之间的联系。这一效应在全部五个系列中都能观察到，并且在将两种表征都降维后依然存在，因此并不能简单归因于更宽的嵌入为对齐提供了更多可用维度。学习到的映射仍远非旋转或统一缩放，而稀疏自编码器（SAE）和块稀疏特征提取器（BSF）的特征，相比将同样的对齐应用于稠密嵌入，并未带来任何优势。因此，模型规模对线性可恢复性的提升，比对原生余弦邻域对应关系的提升更加明显，但这并不能证明其正在趋向共享的原生度量几何。