当组合并不相加:人类识别AI生成图像中的缺陷
When Composition Doesn't Add Up: Humans Identifying Defects in AI-Generated Images
精选理由
帮助读者识别并改进AI生成图像的构图缺陷
AI 摘要
*Chulin Zhao 和 Ruoqi Hu 对这项工作贡献相同。 当提示词涉及多个实体和多个属性等复杂的组合因素时,最先进的文本到图像(T2I)模型会表现出明显且系统性的缺陷。本文研究人类如何识别此类缺陷。具体而言,我们从人、手、物体和场景四类中手动选取了 651 张具有复杂组合特征的参考图像,并通过手动编辑 ChatGPT 生成的提示词,从中提炼出强调组合因素的提示词。随后,我们将这些提示词输入三个选定的 T2I 模型以生成 AI 图像,并开展了一项全面的主观研究来识别其中的缺陷。对于每张图像,29 名参与者提供多标签评估,指定缺陷类型和位置。该研究最终构建了组合式 AI 生成图像缺陷(CO-AID)数据集,其中包括参考图像、提示词、AI 生成图像,以及缺陷位置和类型信息。实验结果表明,在 CO-AID 上训练深度模型既能预测 AI 生成图像中的缺陷,也能优化 AI 图像生成,证明了其可用性和有效性。数据库和补充材料可在以下地址获取:https://github.com/Future-IQA/CO-AID 。