arXiv cs.AI精选77

解析流:面向长周期智能体及其观察者的实时轨迹模型

Parsing the Stream: A Live Trace Model for Long-Horizon Agents and Their Observers

· 42天前

精选理由

提出可折叠运行轨迹,显著降成本并提升长程代理监控与推理。

AI 摘要

长周期智能体的轨迹会超出其两个消费者的承载范围:监控运行的人类观察者,以及智能体本身——轨迹必须重新折叠回其受限上下文中。我们提出一种实时轨迹模型:一个仅追加的事件账本,逐步折叠为带类型的运行状态,并编译为面向不同消费者的视图;我们基于确定性真实值,分别对这两类消费者进行了评估。对于观察者一侧,以 LLM reader 作为代理进行评估时,编译后的视图回答监控问题所用的输入 token 约比对原始轨迹进行一次受预算限制的单次读取少 14 倍和 15 倍,成本低 5-7 倍,且准确率更高(0.85-0.87 对 0.48)。由于这些问题是与视图 schema 共同设计的,我们将 token 和成本降低视为在 schema 覆盖充分这一条件下可迁移的结果。对于智能体一侧,在 120 链顺序依赖任务上,将任务的运行统计量维护在逐步状态中的机制,在完整上下文提示失败的地方取得成功(在干净协议下为 30/30 对 8/30,n=30;由于基准与系统共同开发,标注为描述性结果);提示级 scratchpad 以更低成本达到了与该折叠相同的准确率,而双臂分解表明,该折叠的准确率来自其确定性聚合,其成本优势来自其紧凑性。该折叠相较更便宜替代方案剩余的价值在于可确定性审计,以及可基于同一状态为观察者提供服务。我们从观察到的失败中归纳出 11 条轨迹折叠的候选需求,并用一个对顺序敏感的任务族对其边界进行界定;在该任务族上,折叠不再提供帮助。代码、基准、可再生的合成语料库以及所有工作台轨迹均已发布。

查看原文(arXiv cs.AI)