推理的一个像素:一个真实关系就足以误导 LLM 智能体
The One-Pixel of Reasoning: One Truthful Relation Is Enough to Mislead LLM Agents
精选理由
揭示单一隐含推理关系即可误导智能体,助力提升模型鲁棒性与安全防护。
AI 摘要
一句话能否通过针对连接证据与结论的单个隐含论证依据,操纵智能体的信念?本文提出一种关系攻击(one-relation attack,ORA),这是一种针对该推理关系的新型认知攻击。ORA 定位一个关键的隐含论证依据,并使用一个有来源支撑的单句进行单关系干预,通过限定该论证依据来引导智能体形成错误信念。在生物医学推理和漏洞检测任务中对十八个模型进行测试时,best-of-10 攻击使原本正确的答案发生逆转:专有模型的平均比例为 54.9%,开放权重模型为 80.0%。即使没有受害者反馈,攻击也能迁移;配对对照实验则支持“目标定位”和“限定”所发挥的作用。此外,成功的句子可以通过来源支持检查并逃避识别;在我们的平衡压力测试中,多智能体辩论还将团队错误率从 50.0% 提高到 59.5%。这些发现表明,隐含论证依据构成了操纵智能体信念的一种认知攻击面。