arXiv cs.AI精选79

AesCode:采用解耦跨模态奖励的审美代码生成

AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards

· 13小时前

精选理由

介绍一种结合参考图与解耦跨模态奖励的代码生成方法,显著提升视觉设计与内容可靠性。

AI 摘要

将信息丰富的视觉产物(如幻灯片、海报和仪表板)生成为代码颇具吸引力,因为输出具有结构化、可编辑且可验证的特点。然而,代码模型无法看到其布局和配色选择在画布上的整体呈现,这往往限制了空间规划能力和审美质量。图像生成器擅长视觉设计,但可能错误渲染用户要求的内容,因此其输出不适合作为直接复现的可靠目标。为此,我们提出 AesCode:在内容提示的基础上生成代码,同时使用由同一提示生成的图像作为审美指导。具体而言,AesCode 将目标表示为设计图,以描述整个画布,并使每个属性都具备可追溯性。基于该设计图,我们推导出互补的跨模态奖励:确定性验证器对可从代码和渲染结果中解析的属性进行评分,而 VLM 评审器则使用针对样本定制的视觉图评分标准(Visual Graph Rubric,VGR),依据图中的元素和关系评估不可解析的属性。我们通过带有按通道归一化机制的强化学习优化这些解耦奖励,从而共同提升空间规划、审美质量和可验证的正确性。为评估这一设定,我们构建了一个基准,分别对可验证的正确性和视觉质量进行评分,其中视觉评分与人类判断高度一致。我们发现,参考图像能够显著提升现有模型生成代码的视觉质量;消融实验表明,AesCode 从参考图像中获益,不仅因为将其作为模型输入,也因为将其作为视觉奖励的来源。与使用相同参考图像、规模相当的 Qwen3-VL 基线相比,AesCode-8B 和 AesCode-32B 的视觉质量分别提高了 31.1 和 22.4 个百分点,达到与 GPT-5.5 和 Claude Opus 4.8 等闭源前沿模型相当的评分。

查看原文(arXiv cs.AI)