评估 LLMs 的因果推理能力：程序生成所面临挑战的案例研究

大型语言模型（LLMs）似乎能够表示并推理范围广泛的现象。尤其是，近期研究考察了 LLMs 是否能够准确地进行因果推理。用于评估 LLMs 形式因果推理能力的最常用基准之一是 CLadder，这是一个于 2023 年发布的基准数据集程序生成框架。使用 CLadder 开展的实验似乎表明，LLMs 能够在很大比例的生成样例中执行形式因果推理。在本文中，我们考察当 LLMs 在 CLadder 生成的测试集上表现良好时，究竟能够可靠地推断出什么。我们发现了若干 CLadder 生成器嵌入其所生成数据集中的表层且高度可预测的模式。我们发现，即使是随机森林这样的简单模型，在使用一部分生成数据进行训练后，也能在 CLadder 生成的数据集上取得良好表现。我们还发现，许多商业 LLMs 在 CLadder 测试集上的性能极其脆弱；移除对形式因果推理至关重要的大段文本，几乎不会影响其性能。鉴于这些结果，对于最先进的 LLMs 在 CLadder 上表现强劲，最可能的解释是：它们利用了从接触生成器训练数据的过程中学到的表层模式。任何关于 LLMs 展现出更复杂因果推理能力的推断，都必须排除这一假设。