AI Agent 内部威胁的蜜罐

部署在组织内部的 AI 代理可能构成内部威胁：它们可能犯错、遭到攻击者入侵，或追求与组织目标不一致的目标。我们提出将蜜罐作为一种 AI 控制方法，以提升内部代理部署的安全性。防御者不应仅将蜜罐用于部署前评估，还应在生产环境中全面植入用于有害行为的诱饵机会，以检测不当行为、为恶意代理提供定罪证据并遏制攻击。此类蜜罐能够在真实部署条件下诱发不当行为，即使思维链的可监控性下降，也能识别恶意代理；它们还能向安全团队可靠地发出代理不当行为警告，并以低成本扩展到大量代理实例。蜜罐的存在还会使代理无法确定哪些机会是真实的，从而遏制恶意代理发动攻击并降低不当行为发生率。我们讨论了蜜罐的局限性，并说明了为什么有理由预期它们在代理能力提升后仍将保持有效。最后，我们概述了衡量和提升蜜罐有效性的关键研究问题：测试蜜罐的稳健性，将其检测效果与其他监控方法进行比较，理解其定罪和威慑作用，以及构建配套基础设施。