数字没错，问题错了：评估 LLMs 处理信息不完整的金融查询的能力

金融助手回答的问题听起来像是在询问事实，但答案取决于用户未明确说明的内容：数据数值衡量的是什么、指的是哪一种产品变体，以及投资者的具体情况和适用的规则。忽略这些信息的助手仍然可能从其数据中给出一个真实数字，却回答了另一个问题。我们将这种现象称为框架坍缩。我们以印度共同基金为研究对象；在这一领域，产品变体和税收规则都有正式定义，因此可以针对每一种理解计算出正确答案。一项研究分别检验了每项挑战。面对一个标签含义模糊的数值时，模型会使用该数值，而且通常会按照用户给出的标签来理解。面对所有备选标签都已明确标注的情况，模型会把它们全部列出，但排列布局决定了哪个选项排在第一位。当缺少有关投资者的一项事实时，能力较弱的智能体会自行假定一个默认情况或采用过时的税收规则；要求其提供该事实，也不保证它会真正使用这一事实。由于这类答案与其数据相吻合，针对数据进行的检查会放过它们。只有在被告知每个字段的含义时，AI 评审器才会发现标签错误的数值；即便如此，它仍会通过那些悄然选择了另一种理解的答案。我们展示了这些失败是如何产生的，而不是它们发生的频率，并为金融助手提出控制措施。