MemReward：面向有限标签下 LLM 奖励预测的图式经验记忆

arXiv:2603.19310v5 公告类型：替换 摘要：强化学习（RL）微调利用采样生成轨迹上的奖励信号，提升大语言模型（LLM）的推理能力。当只有部分轨迹具有奖励标签时，若将策略更新限制在这部分轨迹上，其余轨迹便无法用于策略优化。半监督学习将标签从有标签样本传播至无标签样本，但现有方法要么使用固定的相似度权重扩散标签，要么独立处理每个样本，忽略了查询、思考过程与答案之间的关系。我们提出 MemReward，这是一种基于图的经验记忆，可在在线策略优化期间将奖励传播至无标签轨迹。MemReward 将初始 LLM 策略的查询及其生成轨迹（思考过程和最终答案）存储为异构图中的节点，通过相似度边和结构边连接这些节点，并利用有标签轨迹对图神经网络（GNN）进行预热训练，以在图上传播奖励。在在线 RL 微调期间，无标签轨迹根据查询相似度接入图中，策略更新则对有标签轨迹使用真实奖励，对其余轨迹使用 GNN 预测的奖励。我们在数学、问答和代码生成领域的 13 个基准上，使用可验证奖励评估 MemReward，并进一步使用 LLM 评判、人类偏好和连续值奖励进行评估。在仅有 20% 的轨迹具备真实奖励的情况下，MemReward 在 Qwen2.5-1.5B 上达到全监督训练（Oracle）性能的 96.6%，在 Qwen2.5-3B 上达到 97.3%，同时优于标签传播和 FixMatch 式自训练。该方法也适用于参数规模最高达 8B 的 Llama 骨干模型，并在域外任务上取得接近 Oracle 的表现。