使用函数梯度引导语言模型学习概率逻辑程序

声明式逻辑程序通过将依赖关系表示为加权组合规则，为编码关系结构和神经符号推理提供了强大且可解释的抽象。然而，从数据中归纳逻辑程序在根本上仍然十分困难，其瓶颈在于符号搜索空间的组合爆炸。近年来，LLM 已成为强大的假设生成器，但单独使用时，它们缺乏系统归纳推理所需的能力，难以可靠地合成能够拟合复杂关系分布的有效程序。我们提出 grasp（Gradient-boosted Synthesis of Probabilistic logic programs），一种神经符号框架，将关系结构学习建模为函数梯度提升，其中弱学习器是一阶规则，而难以处理的内层搜索则交由 LLM 提议预言机完成。我们在四个关系基准上评估了 grasp，涵盖分子毒性预测（Tox21）、诱变性和引文匹配（Cora），结果表明，与纯符号、神经网络和基于 LLM 的基线方法相比，grasp 取得了更好的性能，同时生成了具有可解释性的加权规则集。通过以梯度引导的 LLM 假设生成取代组合搜索，grasp 在不牺牲符号输出透明性的前提下，保留了提升方法的理论保证。