群不变统计量决定嵌入几何：从 Bach 到 Night Sky 的表示调和分析

arXiv:2610.00647v1 公告类型：新 摘要：语言模型为月份、星期和地点等概念学习到的表示呈现出一致的几何结构：圆形和马鞍状的“Pringle”流形。近期研究将这些结构追溯到词语共现统计中的平移对称性：当共现仅取决于概念阿贝尔格上的距离时，可以推导出观测到的傅里叶几何。我们证明，更一般的对称性概念也会导出同样具有结构性的预测。考虑由任意有限群、紧群和齐性空间定义的对称性，我们证明，只要一个词语族的共现统计在群 $G$ 作用下保持不变，所学习到的词嵌入就由 $G$ 的不可约表示（irreps）的矩阵元组成。当 $G$ 为循环群时，便会出现圆形和 Pringle，此时不可约表示就是傅里叶模态。我们在三个实验设置中验证了不可约表示结构。(i) 循环群 $\mathbb{Z}_{12}$：对于一年中的月份，我们恢复了已知的圆形几何。(ii) 作用于大三和弦与小三和弦的二面体群：我们统一了两个经典观察——移调与和弦转位构成一个作用于和弦的群（音乐理论）$T/I$，这意味着著名的“五度圈”会在所学习的和弦嵌入中涌现（机器学习）。(iii) 我们将大语言模型（LLMs）中近期发现的天体球面表示解释为由我们的理论推导出的球谐嵌入，并复现了这一结果。我们的结果表明，所学习表示的几何结构往往是底层数据统计对称性的结果。