arXiv cs.LG精选78

QASP:查询自适应鲁棒向量搜索策略

QASP: Query-Adaptive Robust Vector Search Policy

· 1小时前

精选理由

按查询预测召回曲线并自适应搜索,在维持高召回的同时减少数据访问,提升检索效率与稳定性。

AI 摘要

arXiv:2607.29606v3 公告类型:替换并交叉列出 摘要:向量搜索面临的一项根本挑战是,在尽量降低计算成本的同时,持续实现高召回率。固定搜索参数会导致不同查询之间出现显著的性能差异,而基于平均召回率的传统评估会掩盖这些逐查询差异。我们提出 QASP(查询自适应鲁棒向量搜索策略),通过搜索前的一次监督回归,为每个查询预测完整的召回率演进曲线,并据此推导出适用于任意召回率目标的搜索策略;这避免了在搜索过程中反复调用模型,也无需为每个目标单独设置预测器。通过使用尺度不变特征和搜索前推理来预测归一化召回率值,QASP 能够跨召回率目标、索引配置和数据集进行泛化。细粒度的进展预测还支持一种轻量级响应式补充机制,可根据预测值与观测值之间的偏差调整搜索深度,而无需额外推理。我们证明,QASP 所需的训练样本量有限,且与数据集大小和维度无关;在允许一个趋于零的统计误差的情况下,其损失不高于最优固定策略的损失;相较于固定探测,其节省的数据访问量随内在维度呈指数增长。实验表明,QASP 显著降低了召回率方差及其与目标的偏差,提高了查询达标率,并且无需重新训练即可扩展至大规模数据和层次化索引,在减少 80% 数据访问量的同时实现 99% 的召回率。我们的实现见 https://github.com/amazon-science/QASP。

查看原文(arXiv cs.LG)