提示级差分隐私下的奖励驱动学习

arXiv:2610.07212v1 公告类型：新 摘要：带可验证奖励的强化学习（RLVR）在可能本身属于机密的问题上训练语言模型，而训练得到的模型可能泄露它见过哪些问题。我们研究提示级差分隐私下的 RLVR：相对于任意一个训练问题是否存在，发布的权重必须满足（{\epsilon},{\delta}）-差分隐私。将对同一提示的一组响应作为隐私记录，我们聚合这些响应的梯度，仅对该提示的贡献进行一次裁剪，添加高斯噪声，并在多次更新之间组合隐私损失，因此隐私预算既不取决于每个提示的响应数量，也不取决于裁剪范数；据我们所知，这是首个针对 RLVR 训练的差分隐私保证。我们使用 LoRA 以每次运行 {\epsilon}=8 的隐私预算训练 Qwen2.5-1.5B-Instruct，并在相同提示和相同预算下进行比较：一个仅移除奖励信号的对照方法，以及两种私有监督微调方案。在每个随机种子下，奖励信号在 MATH 上使准确率比对照方法提高 2.65 个百分点，在 GSM8K 上提高 3.24 个百分点；在采用对格式更稳健的评分器后，这一提升在 MATH 上仍为 1.3 个百分点，且无法由响应长度解释。在相同预算下，该私有模型在 MATH 和 GSM8K 上均优于两种监督方案，优势为 2.3 至 3.8 个百分点；在这些任务上保留了非私有 GRPO 所带来提升的 85--90%，并且在 MATH 上，将预算收紧至原来的八分之一所引入的噪声最多造成 1.2 个百分点的损失。奖励效应还延伸到了 CommonsenseQA 这一探索性的非数学任务。因此，在提示级隐私条件下，验证器反馈仍然是一种可用的学习信号。