诚实优于准确：通过 Reinforced Hesitation 构建可信赖的语言模型

arXiv:2511.11500v3 公告类型：替换 摘要：现代语言模型未能满足可信赖智能的一项基本要求：知道何时不该回答。尽管在基准测试中取得了令人瞩目的准确率，这些模型仍会自信地产生幻觉，即使错误答案可能造成灾难性后果也是如此。我们在 GSM8K、MedQA 和 GPQA 上的评估表明，即便明确警告错误将受到严厉惩罚，前沿模型也几乎从不弃答，这说明提示无法推翻训练中“给出任何答案都比不回答更值得奖励”的导向。为此，我们提出 Reinforced Hesitation（RH）：对基于可验证奖励的强化学习（RLVR）进行改进，以三元奖励（答对得 +1，弃答得 0，答错得 -$\lambda$）取代二元奖励。逻辑谜题上的受控实验表明，改变 $\lambda$ 会产生分布在帕累托前沿上的不同模型，其中每种训练惩罚力度都会产生对应风险情境下的最优模型：低惩罚会产生积极作答的模型，高惩罚则会产生保守弃答的模型。同样的前沿关系也存在于 MATH 第 4—5 级和医学问答任务中，并且在医学问答中可迁移至未见过的数据集。随后，我们引入两种推理策略，将训练所得的弃答行为用作协调信号：级联策略将问题依次交由风险容忍度递减的模型处理，而自级联策略则在模型弃答后再次向同一模型提问。两种策略均以更低的计算成本取得了优于多数投票的表现。这些结果确立了弃答作为核心训练目标的地位，将“我不知道”从失败转化为协调信号，使模型能够通过对自身局限的校准式诚实表达来赢得信任。