AllPath：人工审核门控与自主模式下已部署的自我修订 LLM 交易代理的分层验证

LLM 交易代理几乎完全通过回测和自主基准测试框架进行评估。然而，在行动不可逆的部署环境中，问题有所不同：谁来验证代理的行动？每位验证者在结构上能够发现哪些故障？我们报告了 AllPath，这是一个部署在实时模拟经纪账户上的个人 LLM 交易代理。该系统通过确定性规则引擎监控持仓，并在每天夜间复盘当天的表现，提出对自身交易策略的修订。验证分为三层。代码验证那些不应依赖判断的事项：确定性门控强制执行风险限制，并阻止任何未通过完整性检查的策略修订。代理在固定边界内进行自我验证：其夜间复盘设有迭代上限，且不具备任何能够执行操作的工具。人类则通过显示每项提案当前状态的审批界面来验证判断。我们还比较了在线系统中针对代理自我修订的两种验证策略：前两周半，每项自我修订都必须经过人工审核门控；随后五周，反思修订在相同代码门控下自动应用，而操作员聊天频道始终保持人工审核门控。每一层都捕获了不同类型的故障。代码门控没有拒绝任何提案；其作用是确保修订保持一致。人类拒绝了两项通过全部代码检查的提案，原因都是对市场的判断存在分歧；后来还移除了代理自行添加的 19 条规则中的 11 条，移除的中位延迟为 8 天。生产环境中最具启发性的事件，例如策略被悄无声息地置于无人监控状态，均通过了所有门控；操作员通过手动检查发现了这些问题，而每次修复都是通过修改界面，使相关条件变得可见。我们贡献了分层架构、两种运行模式的实践记录，以及一套生产环境事件分类法；这些内容都无法在回测中观察到。