EpiSEM-Bench：评估证据缺失情况下 LLM 智能体的安全性与证据恢复能力

使用工具的语言模型智能体依赖环境事实来判断某项操作是否被允许。当工具响应遗漏与安全相关的事实时，即使用户请求是无害的，且返回的每条陈述都是真实的，智能体仍可能执行被禁止的操作。我们提出了 \bench{}，这是一个可执行的基准，用于评估证据缺失情况下 LLM 智能体的不安全执行、安全边界和证据恢复能力。该基准涵盖六个领域，包含 300 组相互匹配的不安全／安全任务对。通过系统性地隐去关键事实，该基准衡量关键证据遗漏情况下的不安全执行，并确定观测到的最小失效基数，同时涵盖证据完整时仍发生失效的情况，以及穷尽测试后未观测到失效的情况。一个独立的审计工具用于测试智能体是否会寻找缺失事实，进而在完成允许任务的同时避免执行被禁止的操作。该基准揭示，十个模型在应对遗漏的稳健性、证据获取和恰当行动方面存在显著差异。抵御证据缺失的能力并不一定能转化为有效的恢复能力。提供恢复途径可降低所有十个模型的不安全执行率，但各智能体在是否主动获取缺失事实，并利用这些事实在安全与不安全两种情境中采取恰当行动方面存在差异。