PrismaCoder：通过分解式评分标准合成拓展开放多模态代码智能的边界

多模态代码智能将程序的符号世界与程序执行所创造的视觉世界连接起来。随着模型越来越多地被要求生成图表、网页、动画和半结构化文档，人们对这一能力的兴趣正迅速增长。近期，专有模型已大幅领先，甚至仅凭一段文本描述或一张截图就能生成交互式产物。然而，其数据和训练过程仍不公开，而开放领域的进展则受到可用数据数量与质量，以及数据生产流程和方法的制约。相比数量，质量更难保障，因为一个样本必须在程序层面正确、构建良好，最重要的是渲染后的视觉效果必须正确。目前没有任何现有信号能够覆盖这三个方面。执行结果往往只有通过或失败，代码相似度无法对应视觉输出，而特定任务的验证器又缺乏泛化能力。为进一步推动开放领域的发展，我们从数据入手，提出 PrismaForge：一个以合成评分标准为核心的分层数据流水线，将上述因素分解为可检查的具体标准。同一套评分标准同时用于筛选和奖励：先筛选整理监督学习语料，再驱动视觉编码任务上的强化学习。借助 PrismaForge 进行数据合成与筛选，我们构建了 PrismaCoder-2M，这是多模态代码智能领域多样性最丰富、迄今规模最大的开放数据集。在模型方面，我们使用这些数据训练并发布了 PrismaCoder-9B 和 PrismaCoder-35B。它们大幅超越了现有最先进的开放模型，并可与领先的专有系统相媲美。我们的分析进一步表明，所提出的基于评分标准的流水线能够提升不同骨干模型的多模态编码性能。我们在 https://qiushisun.github.io/PrismaCoder-Home/ 发布了代码和数据。