递归自我改进 AI 的演化安全：分类体系、风险发现与评估

人工智能正在快速发展，能力日益增强的系统在推理、决策、科学发现和自主开发中承担着更大的角色。随着 AI 开始参与自身改进，从模型训练和经验积累，到智能体演化和自动化 AI 开发，递归自我改进（RSI）的前景正变得越来越相关。这一转变提出了一个根本性的安全问题：当系统、其积累的经验，甚至产生其后继者的过程都在持续变化时，如何维持安全性？ 我们提出“演化安全”作为研究持续性和递归性自我改进下安全性的视角。它关注的不仅是 AI 系统在某一特定时刻是否安全，还关注安全属性如何在演化过程中变化、保持、积累和传播。我们刻画了反复出现的表现形式，包括意图漂移、错误积累、经验污染、安全属性侵蚀、评估器漂移和风险传播。随后，我们构建了一个分类体系，涵盖持久化智能体状态、模型状态、评估与环境反馈、计算基底以及元层级更新机制。基于这一分类体系，我们考察了如何跨状态、更新、轨迹和谱系发现并评估演化风险，并推导出关于修改、选择、授权、溯源和恢复的治理原则。最后，我们概述了在 AI 系统变得日益持久、自适应并能够递归自我改进时，为维持安全保证所面临的开放问题。项目资源和拟议的评估系统可在 https://chaunceykung.github.io/evolutionary-safety-rsi 获取。