Chronicle：用于 LLM 智能体回归测试的切点重放

大型语言模型的响应具有非确定性，因此 LLM 智能体中的故障很难复现：故障取决于无法按位复现的推理过程、读取不断变化状态的工具，以及重新运行时很少能够重复的多步轨迹。记录与重放可以使一次运行变得可复现，但现有的智能体工具只记录运行过程以便追踪或评分，而不是用于针对代码变更进行测试。我们提出了 Chronicle：它将智能体运行过程在其非确定性边界处记录为不可变封装，并根据记录进行重放。其核心操作“切点重放”会从记录中提供所选边界子集的结果，并使用新代码实时执行互补的边界子集，从而将一次已记录的事故转化为可在持续集成中运行的回归测试。在一个包含 6 个已记录故障、并对模型边界进行模拟的基准测试中，记录操作在每次跨越边界时增加 23 μs 的开销（相当于假设模型调用耗时 300 ms 的 0.008%）；完整重放不会发起任何模型调用，并且在 20 次重复运行中保持位级稳定；对于全部 6 个事故，切点测试都能在存在缺陷的代码上失败，并在受到保护的变更和无害变更上通过。在一项针对受到保护工具的变异研究中，切点测试能够捕获每一个会放行已记录不安全操作的变异体，而使用相同断言、将所有边界全部替换为存根的基线测试一个也捕获不到。Chronicle 及其基准测试已公开发布于 https://github.com/theagentplane/chronicle】【。