VisAudit：评估用于视觉诊断与修复的多模态智能体

arXiv:2610.02399v1 公告类型：新 摘要：多模态智能体日益用于数据可视化任务，但在自主审查方面仍存在局限。与人类不同，它们可能无法识别可视化结果何时出错，判断需要更改的内容，在不破坏正确内容的情况下完成修复，并验证干预是否成功。现有基准主要评估预先定义的单项能力，例如图表生成、指令引导编辑或缺陷检测，因此无法反映自主审查中的这一差距。我们提出 VisAudit，一个用于评估可视化诊断、修复和验证能力的基准。给定一个渲染后的图表和可配置的辅助证据（包括源数据表、预期文本摘要和可视化代码），智能体会迭代诊断潜在缺陷，修改并执行可视化代码，检查执行反馈和视觉反馈，并判断何时无需进一步干预。VisAudit 定义了三个赛道，涵盖诊断式修复、自主修复和开放世界验证；其中包含涉及 21 种图表类型和 10 类缺陷的 1,900 个有缺陷实例，以及 300 个初始状态正确的图表。我们通过对经过验证的源可视化结果进行受控扰动来构建该基准，并通过系统化验证和与人类判断一致的质量控制，确保注入的缺陷定义明确，且能够根据可用证据恢复。对领先多模态模型的实验显示，它们距离可靠的自主审查仍有显著差距：在自主修复设置下，评估中表现最强的模型只能完全恢复 47.4% 的有缺陷图表。