arXiv cs.AI精选78

WebViSE:从开放网络规模化获取视觉设计智能,赋能大语言模型网站生成

WebViSE: Scaling Visual Design Intelligence from the Open Web for LLM Website Generation

· 2天前

精选理由

将成熟网站的设计经验提炼为可复用技能,帮助模型以更低检索成本生成视觉效果更佳、交互更完善的网页。

AI 摘要

大语言模型在网站开发方面取得了显著进展,使人们能够以少得多的精力,根据自然语言指令构建完整且可交互的网络体验。然而,非专业用户往往难以用自然语言准确表达复杂的视觉与交互设计。与此同时,开放网络中成熟的网站实现已经蕴含了海量此类设计知识。为此,我们提出了源自网站的视觉技能提取框架(WebViSE),该框架可自动将这些实现抽象为可复用的视觉技能,并构建结构化的技能库。为扩大技能库规模,WebViSE 使用多父节点有向无环图(DAG)组织技能,并通过以技能为条件的潜在查询,联合演化技能描述与 DAG 结构,从而高效匹配多样化的用户指令与相关技能。自动演化得到的结构优于非层级式的大语言模型检索基线,而其检索成本仅为使用 Qwen3.8-Max 时预估检索成本的 39.09%。对于任意模型,WebViSE 均可作为即插即用的指导直接注入,使不同模型能够生成更具视觉吸引力、审美更精致的网页。对于开源模型,WebViSE 可用于构建数据合成流水线,将视觉设计智能内化到模型权重中。在多个网页开发基准上的实验及人工评估一致表明,WebViSE 能够提升生成产物的视觉质量和交互保真度。总体而言,我们的工作建立了一条自动化路径,用于从开放网络中提取、组织设计智能,并将其迁移至网站构建模型。我们在 https://github.com/YifeiSun-0710/WebViSE 发布了所有提取出的视觉技能、相应的技能 DAG 以及代码。

查看原文(arXiv cs.AI)