OnTrack：通过流式结构感知最优传输实时监控并干预 LLM Agent 轨迹

arXiv:2610.12375v1 公告类型：cross 摘要：Agent 被部署于旅行规划、股票交易和 IT 事故分诊等应用中。在大多数情况下，LLM Agent 几乎不受基于规则的安全防护约束而自主运行，因而可能由于不可逆操作引发成本和安全问题。近期研究要么使用安全防护 Agent 监控行为，要么事后评估日志。前者会为每一步增加成本和延迟；后者则要等到运行结束后才能给出判断，此时 token 已经消耗，损害也已经造成。为解决这一问题，我们提出 OnTrack，一种流式监控机制，将 Agent 的步骤及其依赖关系与已记录的成功运行进行比较，从而在每一步约一毫秒内向用户发出警报或阻止 Agent。我们在三种访问权限逐步降低的情形下研究这一问题：完全访问参考数据（历史运行记录和工具模式）、中等访问权限（仅工具模式）以及无先验知识（仅有生成的步骤日志）。随着数据访问权限降低，OnTrack 的监控能力也随之减弱，其检测范围从计划违规逐渐缩小到识别循环、停滞和重复工具调用。最后，我们使用 SWE-bench 轨迹评估 OnTrack。基于前 8 个步骤，我们的方法对失败轨迹进行排序，使其排名低于成功轨迹的效果优于内容相似度方法（AUROC 提升 +0.057）。采用中止策略后，对于原本会在失败运行中消耗的计算资源，我们节省了约 18%；在被中断的运行中，有 83% 实际上正走向失败（6 次中止中有 5 次判断正确）。