用于 LLM 智能体记忆的 FlyHash：实证验证与新应用

大语言模型（LLM）智能体越来越依赖外部记忆存储来跨对话保留信息，通常采用稠密向量嵌入，并通过近似最近邻方法进行搜索。果蝇的嗅觉回路采用一种截然不同的机制，对感官输入计算局部敏感哈希：先进行稀疏随机投影，再开展胜者通吃竞争。先前的研究（Dasgupta 等，2017）表明，这种名为 FlyHash 的方案在多个基准测试中，每比特保留邻域结构的能力优于传统的随机超平面哈希（SimHash）。据我们所知，我们首次将 FlyHash 应用于 LLM 智能体记忆检索，并提出了实践者真正需要解答的三个问题：在正确匹配比特数的评估协议下，其质量优势是否依然成立（是的，在涵盖两种模态的四个数据集和 10 个随机种子下，该优势均稳健成立；在此过程中，我们还发现并纠正了一个此前未被记录的特定比较陷阱）；这种优势能否转化为实际的内存和延迟节省，包括相对于当今实践者默认采用的稠密向量索引（HNSW）而言（不能：在比特数相同的情况下，FlyHash 的编码比 SimHash 的编码占用更多存储，比较速度也更慢，而在常见规模下，HNSW 优于这两种哈希方法；我们引入的稀疏集合比较方法消除了朴素实现中大部分但并非全部的延迟差距，因此，哈希在实践中适用的场景比单看质量结果所暗示的更狭窄、更特定）；如果采用真实且不涉及循环论证的智能体记忆相关性标签，而不是该领域文献通常依赖的、以嵌入最近邻作为相关性代理的评估方式，这种优势是否仍然存在（是的）。我们精确报告了这三个问题的答案，包括其中两个对核心结果作出限制、而非为其增色的答案，并公开了我们的实现、一个可运行的智能体记忆演示，以及对我们发现并纠正的方法学陷阱的完整说明。