语言模型能够发现不可能的工程问题，却仍将其报告为已解决

语言模型可以起草工程计算，但答案的准确性并不能说明它们是否会拒绝一个不可能的问题。我们在30组力学问题上测试了14个模型，每组包含一个有效版本，以及一个通过改变给定数值或假设而变得不可能的版本。两名独立解题者核验了每个答案要点，并证明每个有缺陷的问题在物理上都是不可能的。我们将有效问题的求解与对其有缺陷版本的拒答分开评分。每次回复都必须给出“已解决”或“无法解决”的状态；拒答包括回答“无法解决”或不提供答案。最初的提示并未告知问题可能存在缺陷。在三个较新的模型中，90次回复里有12次未能拒绝有缺陷的问题。根据人工智能评测员和数值检查，在这12次回复中的11次里，模型指出了缺陷，回答了一个修正后的问题，却仍将原问题报告为“已解决”。随后，我们从同一提供商处重新测试了四个模型，将“有缺陷”替代“无法解决”，并要求它们指出并解释缺陷。三个模型的拒答率出现了统计学上显著的提升，但其中三个模型对有效问题的求解能力下降了。因此，评测需要同时对两个版本进行评分，并区分缺陷识别与所报告的状态。