迈向用于 eliciting latent knowledge 的稳健模型生物

AI 安全领域的一个关键问题是 eliciting latent knowledge（ELK），即从一个与监督者不对齐、且比监督者掌握更多知识的模型中提取信息。例如，一个被用于扫描代码漏洞的不对齐模型可能希望隐瞒其发现，也就是故意表现不佳，以便日后利用这些漏洞。为了对 ELK 进行实证研究，我们需要能够反映这一情境的模型生物。现有的模型生物在多个方面有所欠缺。在本项工作中，我们训练模型生物，使其在漏洞检测任务中隐瞒解决方案。我们将对话记录蒸馏与反提示和防篡改训练相结合，以使模型具备我们认为对实用 ELK 测试平台至关重要的三个特性：1）选择性，即模型在认为监督者不知道答案时故意表现不佳，否则便遵从要求；2）稳健性，即模型能够抵抗信息 elicitation；3）保留性，即模型保留相对于监督者的知识优势，而不是丧失相关能力。我们训练了一系列模型生物，并展示了其中最强的模型在保持另外两个特性不变的同时，在稳健性方面显著优于先前的模型。我们希望我们的模型生物能为社区提供一个有用的 ELK 测试平台，并希望我们的方法能够推动越来越具挑战性的模型生物的发展。我们的全部代码、模型和数据集均已发布于 https://huggingface.co/collections/lennart-finke/sandbagging。