LGMT：一种用于测试 LLM 逻辑推理可靠性的工具

大语言模型（LLM）日益成为现代软件系统中的推理组件，然而，即使模型能正确回答某个逻辑问题，当同一问题以等价形式重新表述时，它仍可能给出自相矛盾的答案。静态基准对各个问题进行独立评估，因此无法揭示此类不一致性。为解决这一局限，我们提出了 LGMT，这是一款开源工具，通过基于一阶逻辑的蜕变关系检测推理不一致性。给定一个采用前提—结论形式的源测试用例，LGMT 会生成逻辑等价的衍生测试用例，并在无需真实标签的情况下，检查模型对这对用例的蕴涵关系预测是否一致。该工具内置 20 种蜕变关系，支持经 Z3 定理证明器验证的自定义蜕变关系，可通过命令行界面（CLI）或网页工作台运行，并提供无需 API 密钥的离线模拟模式。在随工具提供、包含 3,091 个蜕变组的基准上，LGMT 对六种广泛使用的 LLM 进行测试，发现其不一致率介于 20.84% 至 29.44% 之间。LGMT 已在 GitHub 上公开发布，地址为 https://github.com/MaxwelsDonc/lgmt-tool，演示视频地址为 https://youtu.be/gou4opptu1U。