arXiv cs.AI精选80

当 MLLMs 漏读人类能读出的文字:诊断并学习识别眯眼文字

When MLLMs miss what humans read: diagnosing and learning to read squint text

· 4天前

精选理由

揭示多模态模型漏读图像隐蔽文字的空间选择瓶颈,并通过训练显著提升其识别能力。

AI 摘要

多模态大语言模型可能无法读出嵌入图像粗粒度结构中的文字(人类眯眼即可辨认出的文字),并报告图像中不存在文字。我们将这类文字命名为 Squint Text,并受生产环境内容审核流程中的案例启发,将其作为一种识别缺陷加以研究。我们提出了 SquintBench,其中包含 1076 张源自生产环境的内容审核图像,以及用于机制诊断的受控合成测试集 SquintCtrl。冻结权重的分析表明,隐藏文字保留了粗粒度信号,但字形身份的表征较弱;当提供正确的空间区域时,字形身份变得明显更容易获取,这表明空间选择是一个主要瓶颈。在固定视觉词元预算下,抑制高频内容也能改善文字识别,而视觉词元数量也可能产生影响。这些发现促成了 Squint OPSD:冻结的教师模型接收缩小后的图像视图和作为特权上下文的真实转录文本,并通过其词元级概率分布,沿学生模型自身策略生成的轨迹对其进行监督。推理时,学生模型仅识别原始图像。Squint OPSD 在 SquintBench 上的 ANLS 达到 88.61,而未经适配的骨干模型得分为 26.50,最佳通用模型在原始视图上的得分为 24.44,现成模型在缩小视图下的最高得分为 68.60。这些结果在推理时无需辅助视图,便显著缩小了可用视觉证据与模型生成的识读结果之间的差距。

查看原文(arXiv cs.AI)