持续学习考试：评测 LLM 智能体的长时程 RSI 与经验学习

持续学习是指 LLM 智能体通过从经验中获取、完善和应用知识，同时保留有用的既有知识，从而随时间推移不断改进的能力。这对需要长期学习的智能体至关重要，但当前评估主要考察单项任务的表现，而非通过积累经验实现的改进。我们推出 Continual Learning Exam（CLE），这是一个由 50 多位领域专家开发的大规模基准，用于衡量智能体在真实专业工作流程中由经验驱动的改进。CLE 包含 120 项人工编写的任务，每项任务均设置为五级阶梯，共计 600 个关卡，覆盖 12 个职业领域中的 89 种专业岗位。智能体必须通过每一关才能解锁下一关，后续关卡以先前任务中积累的经验为基础。评估智能体依据人工编写的评分标准评估每次提交。我们比较了两种设置：一种仅允许提交一次，另一种在失败后提供诊断性反馈并允许修改一次。在采用前沿 LLM 的 17 种评测框架与模型配置中，反馈与修改带来的完成率增幅中位数为 5.3 个百分点。然而，表现最好的系统也仅通过了 47.7% 的关卡，且仅在 23.3% 的任务中完成了全部五关，凸显出现有前沿 LLM 持续从经验中学习的难度。因此，该数据集也可用于 LLM 的后训练，以增强其持续学习能力。