arXiv cs.AI精选75

超越可预测路径:为智能体重新定义 AI 安全事件报告

Beyond Predictable Paths: Redefining AI Security Incident Reporting for Agents

· 22天前

精选理由

帮助读者把握AI代理安全事件报告的新要点

AI 摘要

AI 智能体正在被快速部署,同时伴随着越来越多针对 AI 的特定攻击及相应事件。随着事件报告对于法律合规、治理、问责和安全变得日益重要,现有框架必须适应 AI 智能体的独特特性。在本文中,两位编辑作者比较了 AI 系统和 AI 智能体,并基于来自学术界和行业 23 位专家的意见,确定了在 AI 智能体安全受损事件报告中所需的信息。%涉及 AI 智能体。潜在的报告要素包括,例如智能体记忆和记忆访问、实际与潜在的自主性水平,以及工具使用。基于这些发现,我们确定了若干开放性研究问题,包括如何高效记录事件,以及如何判断漏洞和事件是否具有泛化性。专家反馈还强调了潜在的报告薄弱环节,例如数据泄露风险以及针对报告基础设施本身的攻击,从而产生了额外的研究需求。最后,我们总结了隐私要求,并概述了 AI 智能体安全可信部署的研究方向。

查看原文(arXiv cs.AI)