OrBIT：结构引导的嵌入压缩

arXiv:2610.10385v1 公告类型：new 摘要：嵌入表是现代语言模型中规模最大的组件之一。大多数压缩方法会固定一种编码几何结构，例如坐标块、低秩子空间或不受限制的码本，并在其中进行优化。相较之下，我们探讨编码几何结构本身能否被发现。我们提出了 \emph{OrBIT}，一种结构引导的嵌入压缩框架：该框架从轨道动力学中学习可复用的局部几何结构，并利用它约束一小组共享码字。全局重构残差随后决定固定的编码预算应分配到何处，而冗余的重叠图表则使局部误差能够在拼接后相互补偿。我们的理论展示了紧图表几何结构如何控制失真、全局残差如何引导序贯分配，以及数据几何引导的细化如何改进编解码器。最终得到的轨道机制会被编译消除，留下一个紧凑的解码器，其中学习到的结构决定存储哪些内容、在哪里分配容量，以及如何在全局范围内组装局部信息。在四个 LLM 嵌入表上，相较于 16 位存储，OrBIT 在 GPT-2 上实现了 $37.9\times$ 的压缩率，在每个 7B 表上实现了超过 $23\times$ 的压缩率，同时相较于成熟的量化和低秩基线方法，仍能提供具有竞争力的率失真性能。