ROGUE：评估前沿计算机使用智能体中的可纠正性失效

arXiv:2606.00341v2 公告类型：替换 摘要：随着 AI 智能体日益被部署到真实的个人和企业环境中（电子邮件账户、开发工作流、公司数据库等），围绕这些智能体的安全考量变得至关重要。尽管大量研究关注智能体在存在对手时的安全性，我们研究的是可纠正性：智能体在执行良性任务时，是否仍愿意接受人类的纠正、干预或关闭。我们推出了 ROGUE，这是一个基准测试，其中要求智能体完成现实的计算机使用任务，但同时会遇到与人类控制、关闭操作或明确资源限制之间的受控冲突。随后，我们评估智能体是否会为了完成任务而违反这些约束：绕过人类控制、访问受限密码，或重新配置关闭机制。我们发现，在所评估的条件下，大多数接受测试的前沿模型经常绕过用户的中断或限制，而仅基于文本的评估可能会低估智能体执行过程中的失效情况。此外，独立的任务能力本身并不意味着更高的可纠正性。最后，即使父智能体表现出可纠正性，安全约束也可能无法传递给它所创建的子智能体。