EDGE：通过基于图结构 DSL 配置的对话模拟实现确定性图评估的引擎
EDGE: Engine for Deterministic Graph Evaluation through Conversation Simulation from Graph Structured DSL Configuration
精选理由
新颖度 82 / 可操作性 74，来自 arXiv cs.LG。
AI 摘要
arXiv:2608.29971v2 公告类型：替换交叉版本 摘要：随着智能体系统演变为复杂的多智能体编排工作流，系统化评估智能体行为一致性与确定性的需求日益迫切。本文提出了一种形式化评估方法，该方法以 AgentGraph 为基础。AgentGraph 是一种由领域专用语言驱动的规划器，通过可动态调整的有向图表示智能体的推理过程。我们利用这一结构化形式，并采用图遍历算法穷举对话路径，从而构建一个全面的评估集，以覆盖智能体完整的行为空间。随后，我们系统地重放这些可复现的轨迹，将观测到的输出和状态转换与预期的 DSL 规范进行比较。为量化可靠性，我们定义了新的指标，用于衡量精确重放及其语言变体中的响应确定性、轨迹确定性、结构遵循性和语义一致性。系统结果表明，与未配置受控转换的智能体相比，使用 AgentGraph 和 LangGraph 等框架并明确配置结构化节点转换的智能体表现出更高的确定性。