基于可验证奖励的程序学习：用于后训练 LLMs 的符号反向传播

将语言模型后训练为具备推理能力意味着更新其权重。监督微调和强化学习都会把获得的能力放入模型内部，使其无法被检查、无法逐步核验，也无法迁移到另一模型。我们认为，对于其中间步骤可验证的任务，推理最好放在基础模型权重之外，作为由确定性和神经原语组成的显式程序。我们提出 PLVR (Program Learning with Verifiable Rewards)：一种直接从输入输出示例中学习此类程序的后训练方法。其机制是符号反向传播：每一层程序都携带一个类型化本体；在输出端根据真实值计算损失，并通过对原语签名的类型推断将所需的输入本体向后传播：这类似于链式法则，其中信用分配是一种推导，而不是估计。与只验证终局结果的 RLVR 不同，PLVR 的奖励是按步骤的合约判定，在程序结构上是稠密的。在 LiveCodeBench v6 和 Tau2Bench 上，使用 PLVR 的 30B 基础模型在相同预算下平均比 RL 高 27.8 个百分点，而规模大一个数量级的前沿模型高 13.6 个百分点。一套原语库即可同时服务两个基准，因此新任务的边际成本只是 100 个程序搜索示例，而无需新的 finetuning 数据。在相同预算下，用在同一类型可接受空间上的均匀采样替代损失引导搜索，会使中位程序性能从 65.6 下降到 17.5，说明优势来源于反向传播而不是类型系统。我们发布了符号反向传播库和一个一致性检查器，以便该方法可应用于除我们自身之外的原语库。