关于强化学习中奖励函数对大语言模型置信度校准的有效性
On the effectiveness of reward functions in reinforcement learning for confidence calibration of large language models
精选理由
揭示并防范强化学习中的置信度奖励投机，帮助设计兼顾推理准确性与置信校准的奖励机制。
AI 摘要
arXiv:2607.04332v2 公告类型：替换 摘要：本文研究使用强化学习（RL）训练大语言模型（LLM），以同时提高推理准确率并用语言表达其置信度的情境。我们的奖励方案使用两个函数来奖励 LLM 用语言表达的置信度：一个用于正确答案，另一个用于错误答案。如果设计不当，这种方案可能会激励 LLM 为使其置信度得到校准而故意给出错误答案，我们将这一现象称为置信度奖励黑客行为。我们提出了不可被钻空子的置信度奖励方案这一概念，并提供了构建此类方案的方法。我们表明，在可被钻空子的奖励方案下，实际数据集中可能出现选择性置信度奖励黑客行为，而不可被钻空子的奖励方案能够抵御此类行为。最后，我们将其中一些方案定位于基于 RL 的置信度校准中从过度自信到信心不足的谱系上，并通过实验表明，相对于该谱系中的其他方案，这些方案往往表现出相应的校准偏差。实验代码见 https://anonymous.4open.science/r/rl-confidence-calibration-9ED4/README.md。