RH-Detect：用于奖励劫持检测的统一基准

arXiv:2610.10947v1 公告类型：新 摘要：奖励劫持是指模型利用评估信号，却未完成预期任务的行为，这对已部署语言模型系统的可靠性构成威胁。现有数据集采用不同的标签、响应格式和元数据规范，导致检测器结果难以比较。我们提出 RH-Detect，这是一个将来自 11 个公开数据集的、与奖励劫持相关的子集整合到统一模式中的基准，包含 92,761 条记录和六类行为。在 5,021 个开放式评估单元上进行评估，每个单元包含一个任务提示和一段模型自由形式的续写，其中还包括多轮工具使用轨迹。我们在不进行额外训练的情况下，将来自五个模型系列的六个现成语言模型作为奖励劫持检测器进行评估。最佳模型的汇总 AUROC 达到 0.962，准确率超过 93%。然而，对于表现最强的四个模型，在相同决策阈值下，它们在两个多轮工具使用数据集 MALT 和 TRACE 上的准确率比其他来源低 10.7—15.9 个百分点，凸显了部署时监控中的一个关键缺口。我们发现，不同输入格式对不同模型的影响各异。移除思考过程后，Qwen3.5-4B 的 AUROC 从 0.779 提升至 0.849，但 Qwen Flash 的 AUROC 从 0.977 降至 0.950。我们还评估了将该基准作为检测器训练数据集的效果。依次将每个来源留作测试集时，单令牌 SFT 能够提高在六个留出来源中的五个来源上的平均 AUROC。针对这一失败案例进行的后续 GRPO 训练使检测性能略有提升。我们的结果表明，单一的汇总分数可能掩盖不同数据来源、检测器输入和训练过程之间的差异。