即使向量检索在几何上很容易，学习查询编码器也可能很困难

arXiv:2610.02749v1 公告类型：cross 摘要：高效的向量检索既需要一种支持通过向量相似度检索正确文档的语料库几何结构，也需要一个能够将查询嵌入到嵌入空间中、使其靠近目标文档的查询编码器。近期研究从实现 n 个文档的所有 top-$k$ 答案集合所需的最小嵌入维度这一角度，考察了几何容量。我们研究了一种不同的几何容量概念——对于固定文档索引所能达到的最大召回率，并探讨学习得到的查询编码器能否达到这一上限。在多个真实世界的检索基准上，我们表明，单向量查询编码器的检索质量往往远低于文档索引所能支持的水平。受此观察启发，我们从理论上证明了学习查询编码器可能在计算上非常困难。具体而言，我们构造了一个检索任务，该任务满足：(1) 存在一个具有完美召回率的查询编码器，并且它可以由一个小型单隐藏层 ReLU 网络表示；但 (2) 任意统计查询学习器——这类学习器通过聚合统计量访问训练数据——若要取得相对于随机基线 $k/n$ 的非平凡召回率优势，就需要进行指数数量的统计查询。综合来看，我们的结果表明，检索基准中存在大量尚未实现的几何容量，并确立了查询编码器的可学习性可能是基于嵌入的检索所面临的一项障碍。