Multi-Probe Zero Collision Hash (MPZCH)：缓解大规模推荐系统中的嵌入冲突并提升模型新鲜度

arXiv:2602.17050v4 公告类型：替换 摘要：嵌入表是大规模推荐系统的关键组件，能够将高基数类别特征高效映射为稠密向量表示。然而，随着唯一 ID 数量的增长，传统的基于哈希的索引方法会出现冲突，导致模型性能和个性化质量下降。我们提出 Multi-Probe Zero Collision Hash (MPZCH)，这是一种基于线性探测的新型索引机制，可有效缓解嵌入冲突。在合理设置表大小的情况下，它通常能够完全消除这些冲突，同时保持生产规模下的运行效率。MPZCH 利用辅助张量和高性能 CUDA 内核，实现可配置的探测策略和主动淘汰策略。通过淘汰过时的 ID 并重置重新分配的槽位，MPZCH 避免了基于哈希的方法中常见的陈旧嵌入继承问题，确保新特征能够有效地从头开始学习。尽管缓解冲突会带来额外开销，该系统仍能保持与现有方法相当的训练 QPS 和推理延迟。严格的在线实验表明，MPZCH 实现了用户嵌入的零冲突，并显著提升了物品嵌入的新鲜度和质量。该解决方案已在开源 TorchRec 库中发布，供广大社区使用。