arXiv cs.AI精选72

反制悖论:用于诊断语言模型服从性的双探针方法

The Pushback Paradox: A Two-Probe Diagnostic for Language Model Compliance

· 8天前

精选理由

提供衡量模型可操控性与可停止性的双探针方法,助力安全选型与多智能体协作。

AI 摘要

语言模型是否服从用户指令?始终服从的模型虽然可以被停止,但也会被利用;而始终抵抗的模型既不会被利用,也无法被停止。我们提出了一个开放的双探针基准测试,可以将任何语言模型定位在这一光谱上。在主动探针中,用户指示模型采取行动并接受较低的收益,以衡量其可利用性。在被动探针中,用户指示模型等待并放弃较高的收益,以衡量其可停止性。两种服从率共同构成服从指数 $κ$。将该基准测试应用于十二个语言模型后发现,其中七个模型在两种探针中都基本遵循指令,并通过指出指令本身来为其行为辩护。只有 Claude Sonnet-4.6 和 Claude Opus-4.7 能够在不具备可利用性的情况下被停止;Claude Opus-4.6 和 GPT-5-mini 抵抗两种指令;没有模型同时具备可利用性却不可停止。无论对于人类操作员,还是对于分布式或编排式多智能体系统,了解语言模型在服从指数 $κ$ 上所处的位置都至关重要。

查看原文(arXiv cs.AI)