当RAG无法实现均衡:面向上市公司的事实问答中的地理偏差
When RAG Fails to Equalize: Geo-bias in Factual Question Answering over Public Companies
精选理由
揭示RAG在公司问答中的地理偏差与局限
AI 摘要
检索增强生成(RAG)通常被认为能够减少大型语言模型(LLMs)中的事实错误,但检索是否能够一致地弥补缺失知识仍不明确。我们在一个针对上市公司的受控事实问答场景中研究这一问题,构建了一个涵盖全球股票指数中约2,000家公司的基准。我们在四种条件下,对六个LLMs在四个原子属性上进行评估:无上下文、完美上下文、误导性上下文和干扰上下文。我们发现,在无上下文条件下,不同地理区域的准确率差异显著,表明参数化知识分布不均。尽管完美上下文能提升性能,但并不能消除这些差距:提升幅度与基线准确率相关,说明检索效果与内部表征密切耦合。在误导性上下文下,模型经常会复制错误信息。更大的模型可以提升整体性能,但无法消除这些结构性效应。这些结果对将 RAG 视为通用纠错机制的看法提出了挑战,并凸显了模型知识、上下文质量与实体表征之间的相互作用。