审计产品，而非递归：递归自我改进主张背后的评估证据

arXiv:2610.27610v1 公告类型：新 摘要：递归自我改进（RSI）所承诺的是这样一类 AI 系统（例如自我演化的 LLM 智能体）：它们能够变得更擅长产出进一步的改进。评估这一承诺，需要将关于最终系统的产品主张与关于改进过程本身的过程主张区分开来。现有综述明确了这些主张所需的证据，但研究报告这些证据的频率仍未得到测量。我们通过对一个于 2026 年 10 月冻结、可复现的 arXiv 检索框架中符合条件的 114 项研究进行全文编码，考察了这一问题，其中 90 项研究将其自身系统描述为 RSI。编码手册将各项主张与评估设计关联起来。独立人工编码、第三读者裁定，以及对改进器比较进行的另一轮盲编码，共同评估了编码的可靠性。在 90 项 RSI 研究中，按照一项包含部分分离或未说明分离情况的宽泛标准，90% 报告了超出开发任务的产品评估；60% 报告了在未用于选择的任务上进行评估。只有 22% 审计了完整循环的两次或更多次重复运行。在一个由人工编码的随机样本中，RSI 研究呈现出同样的对比：45% 在未用于选择的任务上进行评估，14% 审计了两次或更多次重复运行。在声称改进程序更优的 26 项研究中，23 项报告了相关比较，但只有 4 项在匹配预算下，从相同的初始构件出发，对较早和较晚的程序进行了比较。综合这些结果与一组成熟研究的比较结果来看，关于可重复性和程序改进的证据仍不如产品评估充分。三个命题解释了选择效应、共享的评估器错误以及系统状态变化如何限制产品评估能够确立的结论。总体而言，这些发现支持一种按主张编制索引的报告标准，将每项主张与检验它所需的评估设计相连接。