指明方向,隐藏目的地:大规模实用的私有密集检索
Pointing the Way, Hiding the Destination: Practical Private Dense Retrieval at Scale
精选理由
帮助读者了解大规模私密检索的高效实现方案
AI 摘要
托管的检索增强生成(RAG)和语义搜索使用户能够查询有价值的、由提供方持有的语料库,这带来了两项相互竞争的需求:既要隐藏每个查询和选定结果,又要只公开用户有权接收的文档。现有的密码学方法要么因为每次查询都要处理整个语料库而代价高昂,要么通过扫描少量簇来提高效率,却以牺牲质量为代价。我们将学习到的深度哈希重新用于私有过滤:随机二进制代码将提供方指向一个较短的候选列表,而加密重排序和 oblivious key transfer 则保护精确的查询和最终选择。这个候选短名单绕过了对整个语料库的密码学搜索,同时不牺牲检索质量:在 200-500 个候选项的情况下,它在跨越 25K 到 5.4M 文档的五个 zero-shot 语料库上与全语料库检索非常接近。在通过 10-Gbps 链路的完整 2.68M-passage NQ 语料库上,我们的协议只会在一个 128-token 的 Qwen3-32B RAG 流水线中额外增加 0.73 秒,即 10% 的开销。发布的代码满足 directional metric differential privacy(DP),并显著降低了 embedding-inversion 和 property-inference 泄露,表明经过精心学习的候选短名单可以让私有密集检索同时兼具准确性和实用性。