二比特的 N-Gram 记忆：量化大语言模型中的查找表
N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models
精选理由
以两比特压缩大模型查表记忆，显著降低存储并提升GPU部署规模。
AI 摘要
arXiv:2610.21810v1 公告类型：新 摘要：条件记忆通过选择性查找扩展语言模型的容量，但完整的嵌入表必须始终为所有可能的输入保留。我们提出 Conditional Program (CP)，这是一种压缩表示，可仅重建输入所请求的行。CP 使用短代码和局部尺度表示每一行，并在整个表中共享一个重建程序。我们使用 Gaussian trellis、范数恢复和可独立解码的行记录来实例化这一表示。与 2 比特就近舍入相比，CP 的二比特代码可将输出 KL 降低 41--63\%。对三个经过训练的 n-gram 记忆系列进行的分析表明，类似高斯的坐标统计特性与行之间学习到的关系可以共存；在存储预算相同的情况下，共享 trellis 的性能优于我们测试的拟合码本和低秩残差变体。对于 DeepSeek，它将表存储空间从 203GB 降至 51GB，使表保留在 GPU 上时能够支持更大的工作负载。