阅读并不等于使用:检索、判断与 AI 金融研究工作流的设计
Reading Is Not Using: Retrieval, Judgment, and the Design of AI Financial Research Workflows
精选理由
揭示检索与判断脱节,指导构建更可靠的金融AI流程
AI 摘要
大型语言模型(LLMs)正越来越多地被用作 AI 分析师来处理财务披露文件并支持 AI 辅助的投资决策。然而,这类系统通常按其能够检索到什么来评估,而不是按检索到的信息是否影响其判断来评估。我们在长上下文财务分析中识别出一种检索-整合鸿沟。在固定焦点公司的信息、仅将无关上下文从 2,000 个 token 变化到 128,000 个 token 的条件下,我们发现,某项风险披露对投资判断的影响会降至实验噪声水平,而直接检索仍然保持准确。这一模式在不同模型家族和判断任务中都能复现,并且在从真实的 10-K 文件中移除实际披露内容的实验中也同样成立。能力更强的模型只能延后这一鸿沟的出现,但并不能消除它。因果记忆干预表明,压缩摘要与源文本查找共同将披露内容传递到判断中。工作流架构决定了这种传递是否成功:分块加摘要的流水线会逐出相关信息,而在决策附近进行针对性、结构化重述则能恢复其影响。因此,AI 分析师的表现是由模型能力与工作流架构共同决定的。基于检索的评估可以为这样的系统背书:它们在投资判断中忽视了自己确实已检索到的信息。