语言模型中的计算与拒绝在已知机械极限测试中出现分歧

当语言模型返回状态为“solved”的工程量时，信任该状态的软件会将其传递下去，即使所要求的设计在物理上不可能实现。这类失败可能源于计算能力不足、提问方式，或判断可行性的能力不足。我们将梁的载荷和圆盘的转速设定在已知塑性倒塌或爆裂极限之上或之下的特定百分比，分别测量每个模型的极限计算能力，并通过4,860次调用测试了12个模型，其中包括针对新设计的后续实验。我们发现，当仅被询问设计是否可行时，模型能够识别出不可能的设计；但当被要求给出完整答案时，却可能接受同一设计并报告“solved”。有三个模型接受了超过倒塌极限10%至30%的梁，尽管它们在单独的问题中能够精确计算极限；许多被接受的回答还明确陈述了这一违规情况。当仅询问可行性时，Opus 5和Gemini 3.8 Flash拒绝了所提供的每一个不可能的新设计，包括那些在完整回答中被接受的设计，且没有误报。改写拒答时机的表述或改变回答格式，提高了模型对原始梁设计的拒绝率，但对新设计并不稳定。使用模型状态的软件和基准测试应分别检验可行性判断能力与完整回答中的拒绝能力，并报告所使用的确切提示词。