OnTrack：通过流式结构感知最优传输实时监控并干预 LLM 智能体轨迹

智能体已被部署在从行程规划器、股票交易到 IT 事件分诊等各种应用中。在大多数情况下，LLM 智能体几乎不受基于规则的安全防护约束而自主运行，因而可能由于不可逆操作引发成本和安全问题。近期研究要么使用安全防护智能体监控行为，要么在事后评估日志。前者会为每一步都增加成本和延迟；后者则要等运行结束后才能给出结论，此时 token 已被消耗，损害也已造成。为解决这一问题，我们提出 OnTrack，这是一种流式监控机制，将智能体的步骤及其依赖关系与记录的成功运行进行比较，从而以每步约一毫秒的速度向用户发出警报或阻止智能体运行。我们在三种数据访问权限逐渐降低的情形下研究这一问题：完整参考访问权限（历史运行记录和工具模式）、中等访问权限（仅工具模式）以及无先验知识（仅有生成的步骤日志）。随着数据访问权限降低，OnTrack 监控能力的预期也会下降，其检测范围从计划违规扩展到识别循环、停滞和重复工具调用。最后，我们使用 SWE-bench 轨迹对 OnTrack 进行评估。仅依据前 8 个步骤，我们的方法对失败轨迹的排序低于成功轨迹，其效果优于基于内容相似度的方法（+0.057 AUROC）。采用中止策略后，对于原本会在失败运行中消耗的计算资源，我们节省了约 18%；在被中断的运行中，有 83% 实际上正走向失败（每 6 次中止中有 5 次判断正确）。