提示诱导不实作答时大型语言模型的推理词元数量激增

监测推理型人工智能（AI）模型的思维链，仍是检测此类模型欺骗行为及其他不当行为的一项关键方法。然而，基于语义的思维链监测不仅要求能够访问推理轨迹，还依赖于这些轨迹可被理解，并且足够忠实地反映产生模型行为的底层计算过程。此外，越来越多的证据表明，思维链输出即便仍可访问，也可能很快变得难以理解或不再忠实。基于认知负荷理论，我们研究了一种带宽需求更低的信号——生成的推理词元数量——它无需访问推理轨迹的内容。我们让三个具备推理能力的大型语言模型在分别指示其如实作答、虚假作答或不考虑真伪的系统提示下，回答了210道多项选择题，涵盖分析性、描述性和规范性推理类型，以及道德与非道德领域。在全部三个模型中，以真实为导向的作答所产生的推理词元，均少于以说谎为导向和不考虑真伪的作答。这些发现表明，由明确提示诱导的不实作答策略，可以使测试时推理词元的使用量呈现稳健的群体层面差异。虽然我们的结果尚不足以确立推理词元数量作为自发欺骗或一般性不对齐行为的检测指标，但它们提供了概念验证：当原始推理轨迹不可获取或不可靠时，推理词元数量可以作为一种简单、独立于内容的候选信号，用于区分模型的不实行为与如实行为。未来工作应检验实例层面的检出率、分布外泛化能力、习得的欺骗策略、隐藏目标，以及对抗压力下的稳健性。