PASTABench：面向智能体安全的序列轨迹主动评估

随着 Large Language Models（LLMs）逐渐演变为能够改变现实世界状态的自主智能体，确保多步骤工作流中的操作安全已成为一项关键挑战。尽管近期研究已从单轮评估转向多轮范式，但仍存在一些关键局限：步骤级方法将动作孤立处理，忽视了风险如何累积；而轨迹级评估则在事后进行，无法提供及时干预的机会。为解决这些局限，我们从三个维度对解耦式主动安全监控进行了形式化：是否干预、何时干预以及风险是什么。我们推出了 PASTABench，这是一个包含 1,139 条多轮轨迹的基准，涵盖 5 类风险和 13 个子类别。我们进一步提出了最佳干预窗口（Optimal Intervention Window，OIW），以标注的 Earliest-Signal 轮次和 Trigger 轮次为依据，用于量化干预的及时性。对 16 个 LLMs 的评估表明，主动干预仍基本未得到解决，最佳模型仅有 40.74% 的干预处于最佳时机。细粒度诊断进一步揭示了普遍存在的词汇过拟合现象：较小模型看似具有竞争力的安全得分，掩盖了其对关键词的过度敏感，而非真正的风险理解能力；一旦将危险词汇中和，其主动能力便大幅崩溃。