RefCraft：通过网页开发对视觉参考条件下的智能体生成进行基准评测

除了基本的工具使用和编码技能外，将视觉参考有效融入智能体生成，对于将 AI 智能体应用于现实世界的生产力任务同样至关重要。我们通过网页开发研究这一关键能力。网页开发是一个实用且易于评估的场景，而现有基准在很大程度上仍停留于理想化设置：它们通常侧重于重建视觉目标，或仅根据文本指令生成网页，却忽视了更为常见的基于视觉示例进行开发的工作流程。具体而言，我们推出了 RefCraft，这是一个包含 300 个真实网页开发任务的基准，任务将自然语言指令与来自 1 至 5 个参考网页的截图相结合。智能体必须有选择地理解并利用这些参考内容，同时渲染、视觉检查并迭代优化其输出。我们使用可独立验证的关键点，以及互补的程序化评审器和 VLM 评审器，对最终生成的开放式产物进行评估。在九个前沿 (M)LLMs 中，表现最强的系统总体得分仅为 52.12（满分 100 分），这表明在实际网页开发场景中，视觉参考条件下的智能体生成对于当前模型而言仍是一项重大挑战。