arXiv cs.AI精选77

已检索但未排序:结构化检索中的表层形式偏置,从数学到智能体轨迹

Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories

· 42天前

精选理由

揭示检索模型偏重字面、忽视结构的跨域偏差

AI 摘要

我们评估了嵌入检索,在刻意将表层形式与语义分离的情况下:检索那些共享底层结构但不共享措辞的条目,并在两个互不相关的领域中采用同一协议,分别是竞赛数学(MathNet-Retrieve;500 个查询,117,088 条目语料库)和具身智能体轨迹(基于 ALFWorld;118 个查询,336 条轨迹)。在数学领域,失败是彻底的:在最强伪装层级下,两个生产级嵌入器的严格 Hit@1 都为 0.0%(bootstrap 95% CI [0.0, 0.0]),而正确条目几乎总是位于前 10 名;在 95.2% 到 99.8% 的未命中情况下,获胜结果在词面上比正确答案更接近查询。在轨迹领域,当 gold 必须涉及不同对象时,表层变化只是附带的,同样的模型落在或接近超几何随机水平;一旦 gold 还必须在对象和容器上都不同,三种嵌入器都低于随机水平:检索锚定于字面 token,而非任务结构。词法重排序器控制在数学中有害、在轨迹中有益(将差距缩小 26% 到 36%,CI 不包含 0);其方向揭示了某个基准的表层变化是对抗性的还是附带性的。LLM 重排序器在数学中恢复了 5% 到 63% 的差距,在轨迹中恢复了 43% 到 76%;这一方向在三个评审器中可复现(21 个单元格全部为正),但效应大小、层级分布以及离群评审器会随领域而变化(配对差异处处排除 0)。数学上的增益主要集中在知名竞赛上(+19.8 个百分点,CI [+6.7, +33.2],六个单元格中的一个),因此恢复的一部分来自记忆。在一项配对的下游实验中(210 个查询,评分者一致率为 96% 到 99%),oracle 检索与对抗性劣质检索没有显著差异(McNemar p = 0.678);求解器 69.5% 的 zero-shot 准确率在很大程度上只是一个截断代理指标(在完整答案上为 97% 到 100%),几乎没有提升空间。

查看原文(arXiv cs.AI)