arXiv cs.AI精选77

当消费者是代理:以执行为依据的服务级别协议

When the Consumer Is an Agent: Execution-Grounded Service-Level Agreements

· 1天前

精选理由

提出以独立状态观测验证智能体任务完成的新契约,提升异步服务可靠性。

AI 摘要

大型语言模型(LLM)代理日益充当服务消费者。它们选择操作,并报告任务是否完成。在异步分布式服务中,已接受的调用或即时状态读取,并不能证明所需状态已在截止时间前变得可观测。我们提出了以执行为依据的完成契约,将完成视为一种服务级结果。一个独立的控制平面在代理执行任务的同时,观测受截止时间约束的服务状态谓词、确认完成,并指导恢复操作。我们在一个实时运行的多提供商数据服务中,对置放和删除操作进行了评估,所使用的模型具有异构性,并注入了传输延迟。在不同策略下,一些错过截止时间的任务获得了接受,而一些按时完成的任务却遭到拒绝。在强制执行机制下,已接受的完成结果与后续观测保持一致;所有纳入的健康任务均已完成,而未解决的故障任务则以未验证状态终止。结果表明,这些任务的完成情况可以通过对服务状态的独立观测来管理,而不必依赖代理的自我评估。

查看原文(arXiv cs.AI)