保障 AI 编写软件的案例研究

软件工程代理能够让没有接受过正规软件培训的人构建他们原本无法实现的系统，同时还能生成多到即使专家也无法有意义地审查的代码。在这两种情况下，将穷尽式代码审查作为人类控制的唯一依据都不可靠。我们报告了一项案例研究：一个生产环境中的医疗保健平台通过编码代理构建，并由一名没有接受过正规软件工程培训的操作员负责管理。随着时间推移，其工作流程逐渐发展为一个由人类主导的元代理系统：一个代理编写代码，其他代理对其进行监督和审查，项目规则则不断积累并传承经验。该操作员发现，用于监督系统的测试、监控器和审查代理都存在缺陷。有些监控器测量的是代理指标而非结果，有些审计会静默失败，遗漏的检查会从报告结果中消失，还有一次自动修复导致了运行中断。在这个案例中，人类控制依赖于确保预期结果、用于判断结果的证据、代理的权限以及最终的人类决策，都与同一个底层目标保持一致。