通过涌现深度实现递归式自我改进

自我改进的 LLM 代理优化的是答案，而不是产生这些答案的过程。添加元层的系统会将该层固定不变，而会自我编辑的系统为了保持稳定，必须让自身编辑机制的一部分保持不变，因此其实现的元深度大致被限制在二层左右。我们提出 Meta$n$，它保持元操作固定，而是对其输入递归。该操作 Ω 会反复作用于自身的产物，读取下方求解器栈的轨迹以及生成这些轨迹的代码，然后将下一层写成一个策略性预处理步骤和一组可调用的辅助函数。由于 Ω 从不改变，它就不会使系统失稳；又因为其输入严格增长，每一层都从比上一层更高的视角进行推理。深度由收敛而非预先固定来决定，并且一个进化式档案会在层链上进行搜索。在两个骨干模型上，Meta$n$ 在全部八个基准家族上都优于先前的自我改进代理。最显著的例子是 ARC-AGI-2，其设计旨在抵抗技能记忆，在该基准上只有它得分高于零。消融结果表明，递归带来的大部分收益来自每一层传递给下一层的条件信息；随着深度增加，会涌现出不同的层角色，尽管没有任何提示词预先规定它们。代码可见于 https://github.com/minnesotanlp/meta-n