arXiv cs.AI精选78

ScienceClaw:跨自然科学与社会科学对 AI-for-Science 智能体持续自我演化的基准测试

ScienceClaw: Benchmarking Continual Self-Evolution of AI-for-Science Agents Across the Natural and Social Sciences

· 7天前

精选理由

提出跨23学科的科学智能体持续自进化评测框架,验证经验积累、迁移与保留效果。

AI 摘要

大型语言模型智能体正在加速科学自动化,但经过验证的执行结果很少能转化为持久的程序级改进,而现有评估也未考察这一过程在自然科学和社会科学的连续任务中的表现。我们将 ScienceClaw 形式化为一种固定参数的程序自演化机制,统一任务求解、科学验证和程序更新。ScienceClaw-Eval 覆盖 23 个学科,通过连续任务流和独立重置评估,衡量科学正确性、演化增益、保持能力、跨数据集迁移能力和演化成本。我们的框架通过多轮交互修复可执行工作流,将经重新执行验证的失败—成功轨迹转化为相互关联的 Skill 和 Operator 候选,并且仅当源任务回放能够复现修复结果且独立科学任务得到改进时,才保留相应更新。代码可在 https://github.com/beita6969/ScienceClaw 获取。

查看原文(arXiv cs.AI)