Designer-RSI:从用户流量中演化面向智能体图形设计的程序性记忆
Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design
精选理由
展示无需更新模型,借助程序化记忆让设计智能体持续进化并显著提升执行成功率。
AI 摘要
专业图形设计是一项长时程智能体任务,结构化、可编辑的作品通过许多相互依赖的操作逐步形成,但其结果不存在可靠的程序化判定标准。我们提出了一种持续适应框架:冻结的前沿模型通过 230 多种工具操作专业设计软件,同时,外部的自然语言技能程序性记忆会从经验中积累并完善可复用的设计流程。该记忆通过为反复出现但尚未覆盖的子任务获取流程来拓展规模,并通过根据既有流程自身成功和失败的执行结果进行修订来加深内容;与此同时,配对回放门控机制只允许那些能够修复失败且不会使已观察到的成功结果退化的变更进入记忆。在 1,406 份真实用户需求和 1,869 条自动评分轨迹上进行五轮迭代,在不更新模型权重且无需人工标注的情况下,技能库从基于文档生成的 76 项技能增长至 139 项,并使 Claude-Sonnet-4 在 GenEval2 上的执行成功率从 72.7% 提升至 99.3%(生成质量提高 11.99 个百分点);在 Claude-Sonnet-4 和 Claude-Opus-4.6 上,针对四个专业设计基准,相比无技能智能体的胜率分别达到 61.8% 和 67.6%。我们进一步表明,这两种机制结合使用时效果更佳:在来自用户流量基准的 200 份留出需求上,单独进行拓展或加深时,相比无技能智能体的胜率分别为 49.4% 和 48.6%,而二者结合后达到 58.5%(p = 0.025)。程序性记忆为在反馈嘈杂且无法验证的环境下实现智能体持续适应提供了一条切实可行的路径。