Phase-HDC：在离散相位学习中用梯度阈值替代优化器历史记录

arXiv:2610.10630v1 公告类型：新 摘要：训练一个紧凑模型所需的内存通常远多于存储模型本身所需的内存，因为优化器会保留过去梯度的记录。对于一种学习参数为低比特角度的超维分类器——我们称之为“相位记忆”——这些记录所占内存是模型本身的数倍。我们探究了这样一种模型能否在只存储模型本身的情况下完成训练。所提出的方法 Phase-HDC 在每次更新时，最多将每个存储的角度沿其当前梯度符号的相反方向调整一个步长，并且仅当该梯度足够大时才进行调整。我们证明，在一种一阶损失模型中，每个发生变化的参数都需支付固定代价，而这一简单规则正是该模型的精确解。在其他条件（包括更新规则之外的所有因素）保持不变时，Phase-HDC 达到了使用 6-bit 动量的 Adam 的准确率，同时存储量减少了三倍。在 11 个图像、表格和文本数据集上，与标准 float32 Adam 相比，其存储量减少了 16--23 倍；与 8-bit Adam 相比，减少了 4--6 倍。代价是，与 float32 Adam 相比，平均准确率损失约为 5 个百分点；但在 11 个数据集中的 6 个上，Phase-HDC 的准确率高于 8-bit Adam，其中包括字节级文本预测任务，在该任务上 8-bit Adam 完全失效。经过插桩的训练运行解释了这些结果。一旦参数必须位于离散网格上，Adam 的动量主要决定参数是否发生移动，而这一决定无需记忆，仅通过对当前梯度设置阈值即可实现；对动量进行粗粒度量化会破坏这一决定，尤其是对于数据中很少出现的输入。这里的存储节省指的是逻辑状态，而不是实测的硬件内存。