人类会通过辩论修正自己的判断，但较弱的 AI 模型不会

我们如何有效监督超越人类智能的 AI 系统？AI Safety via Debate 提出让两个 AI 系统就相反立场展开辩论，再由一名裁判（可以是人类，也可以是较弱的模型）判定哪一方正确。通过帮助监督者提供高质量的训练信号，辩论旨在促使能力超越人类的 AI 系统表现得真实且安全。然而，人类判断并不中立：人们常常依赖偏见，而高级 AI 系统可能会学会利用这些偏见。本文借鉴集体智能和社会认知领域的研究成果，探讨尽管人类和 LLM 监督者持有先入信念，辩论是否仍能引导他们走向真相。我们评估了多种协议配置，还探索了受群体智慧启发的设置，例如裁判的数量和多样性，以及包括审议和投票在内的互动机制。总体而言，我们发现，与先入信念相比，辩论能够提高人类裁判的准确率，而单一专家为某个答案进行辩护的咨询基线则无法做到这一点。然而，对于较弱的语言模型，结果并不一致：在大多数设置中，辩论没有带来类似的提升，甚至可能降低准确率。在多裁判协议中，加权投票使人类监督者获得了最高准确率；而对于 LLM，其中任何一种协议都未能显著提高群体准确率，即使裁判数量不断增加也是如此。值得注意的是，在非多样化的审议协议中，少数派裁判的行为表明，在对称设置下，错误立场可能比正确立场更具说服力。这些发现支持将辩论作为实现可扩展人类监督的一条可行路径，但也对其在较弱 AI 监督者中的益处提出了质疑，并引发了人们对高风险场景下完全自动化训练与控制流程的担忧。