几何感知的双曲残差量化

残差向量量化将连续表示转换为离散的多级令牌序列。然而，尽管所得编码具有由粗到细的结构，且许多数据领域都存在潜在层次结构，大多数方法仍在欧氏空间中运行。双曲几何为层次化表示提供了自然的替代方案，但简单的双曲扩展会引入几何不一致性：双曲加法不满足结合律，因而无法实现一致的残差聚合；同时，标准的直通式梯度估计忽略了潜在空间的几何结构。我们提出了一种几何感知的双曲残差量化方法，在前向和反向传播过程中同时解决这些问题。在前向传播中，Hyperbolic Residual Aggregation 在庞加莱球上恢复了残差量化的望远镜式行为。在反向传播中，带衰减的 Hyperbolic Straight-Through Estimator 将重构梯度作为一个统一的几何模块通过量化器传递，避免在多个残差阶段之间进行不稳定的递归梯度传输。在层次化预测、推荐、图像令牌化和神经音频编码任务上的评估表明，与朴素的双曲基线方法相比，我们的方法提升了双曲残差编码的稳定性和结构组织性。同时，我们观察到明显的结构—压缩权衡：对于纯粹的压缩任务，欧氏残差量化仍然更具优势；而对于具有层次化组织的离散潜在空间，几何感知的双曲量化最为有用。