大型语言模型中的“先高后低”请求与拒绝行为
Door-in-the-Face Requests and Refusal Behaviour in Large Language Models
精选理由
帮助读者识别大模型对“先拒后提”话术的脆弱性
AI 摘要
“先高后低”技巧在语言模型上也有效吗?在人类中,一个较大的请求如果被拒绝,会使随后提出的较小请求更有可能被接受。我们在来自三家提供方的九个商用模型上测试这一点:每个模型先拒绝一个较大的请求,然后再收到同一请求的较小版本,并将其服从率与直接提出请求时进行比较。答案取决于模型。在 Anthropic 的前沿模型上,这一技巧有效:Opus 5 在拒绝较大请求后,有 65.8% 的概率答应较小请求,而直接提出时这一比例为 29.3%。在 OpenAI 和 Google 的前沿模型,以及 Haiku 4.5 上,它却适得其反,使服从率降低 15.5 到 23.0 个百分点。一个对照实验定位了这一效应:在所有九个模型上,针对无关主题的被拒绝大请求产生的影响都小于相关请求,因此让步本身在所有模型上都很重要,而对刚刚拒绝过某件事的反应则因模型家族而异。该技巧不能迁移到来自公开基准的拒绝样本。决定“退一步”是否奏效的是请求内容:将 265 个被拒绝的、旨在获取可用指令的请求改写为同一主题的解释性请求后,有 263 个案例中的拒绝被消除了。人类的影响技巧迁移到语言模型上时,是按模型家族逐个发生的。