inkGround:面向真实场景连笔手写的视觉语言模型细粒度视觉定位能力基准
inkGround: Benchmarking Fine-grained Visual Grounding Capabilities of Vision-Language Models for Cursive Handwriting in the Wild
精选理由
提供首个自然场景草写轨迹恢复基准,助力评测与改进多模态模型。
AI 摘要
人类手写由一系列有序的运笔动作构成,但离线图像只保留了最终的墨迹。手写轨迹恢复旨在还原有序的笔画点及其抬笔/落笔转换。现有的图像—轨迹配对数据集均是在受控条件下使用数位板记录的,这限制了书写者覆盖范围和书写风格的多样性。此外,目前还没有用于衡量通用视觉语言模型(VLM)在笔画轨迹恢复任务上视觉定位能力的基准。在本研究中,我们提出 inkGround,这是一个基于相机拍摄的整页手写图像进行笔画轨迹恢复的基准。inkGround 将 537 张页面图像(约 1.87 万个单词、约 16.3 万笔画)与参考轨迹配对;这些参考轨迹由预训练的离线到在线模型生成,经 OCR 一致性筛选,并由人工评审员验证。由于这些参考轨迹属于伪标签,只代表一种合理的运笔轨迹,我们还在提供真实记录笔迹轨迹的 IAM-OnDB 数据集上对 VLM 进行评估。我们将该任务定义为文本条件点定位:给定一张页面图像和一个目标单词,模型必须定位该单词并输出其有序的笔画点。输出结果通过轨迹保真度(DTW、Chamfer distance)、渲染笔画的可读性(Accurate Rate、Correct Rate)以及风格相似度进行评分。我们使用统一的上下文提示词,对四个开源 VLM 和三个前沿闭源 VLM 进行了基准测试。闭源模型,尤其是 Gemini-3.1-Pro,能够生成接近参考轨迹且清晰易读的轨迹;在 IAM-OnDB 上也保持了相同的排名。