超越信任判断：评估并缓解 LLM 对错误信息的易感性

使用工具的大语言模型（LLM）必须判断外部信息是否足以作为采取行动的依据。我们研究其明确表达的可信度判断能否可靠地反映其在行为上抵御错误信息的能力。我们使用 196 条构造的虚假通知及其配对的真实通知，以及 204 个经改编以适用于模拟工具使用场景的存档攻击案例，对五个 LLM 进行了评估。当被要求根据构造的通知采取行动时，在已被模型评为不可信的案例中，模型仍有 27%–99% 的概率发出有害工具调用。移除预先评分步骤后，有害执行率平均上升 15 个百分点，表明引导模型评估可信度本身会改变被评估的行为。提高可信度辨别能力的干预措施并不总能带来更安全的行动。简单的预先警告显著降低了五个模型中四个模型的有害执行率，但在主要评估中，两种受测的基于生成示例的预防性辟谣措施均未优于这种警告。这些有害执行率的下降也可能损害正常任务的完成情况。在先评分的评估流程下，使用生成的虚假通知进行监督微调，降低了模型在留出的存档攻击案例上的有害执行率，但其效用代价因模型而异，且在不引导模型评分时，防护效果较弱。我们的发现表明，评估错误信息防御措施时，应同时考察有害行动和正常任务完成情况，并考虑评估流程对行为的影响。