用于语言模型的低比特 N 元语法嵌入

许多近期发布的开放权重语言模型使用 N 元语法嵌入表来提升性能。这些表存储通过学习得到的短词元序列表示，例如连续两个或三个词元的表示，供模型在处理过程中检索。然而，它们可能需要大量内存：例如，DeepSeek-V4.1-Flash 为其 Engram N 元语法记忆分配了 1960 亿个参数。因此，我们研究能否在保留这些表所带来的性能提升的同时，降低其内存开销。我们提出以低精度存储 N 元语法嵌入，并系统研究不同的量化方法及各表之间的比特分配方案。在从头训练的 nanochat、Llama 和 GPT-2 系列模型中，4 比特嵌入表可节省约 75% 的表内存，同时保留引入嵌入表所带来的验证损失改善幅度的 99% 以上。使用更少的比特会导致更大的性能下降，但我们发现，短暂的微调阶段能够显著弥补这一损失。此外，将节省的内存重新投入到更大的嵌入表中，可以在内存用量仍然更低的情况下，实现超越原始全精度嵌入表的性能。这种表内存节省效果也适用于现有大型模型：在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低比特嵌入表可节省 47%–55% 的表内存，困惑度增幅低于 1.2%，且下游任务性能基本保持不变。这些发现表明，低比特精度是一种切实可行的方法，能够降低 N 元语法嵌入的内存需求，并利用节省的容量提升模型性能。