arXiv cs.AI精选75

GeoReform:面向多模态几何问题求解的反思式形式化演化

GeoReform: Reflective Formalization Evolution for Multimodal Geometry Problem Solving

· 5天前

精选理由

GeoReform以反思进化优化几何形式化,提升多模态模型的几何推理能力。

AI 摘要

多模态大语言模型(MLLM)往往难以识别和利用图示中的几何关系。近期方法通过将几何实体、关系和约束转换为显式的文本表示,来应对这一挑战。然而,有效的形式化并非易事:在 Geometry3K 上,结构注入在 200 个示例中纠正了 28 个错误,却引入了 13 个新错误。冗余关系可能分散模型的注意力,而对图中元素的含糊指代则可能导致模型错误地应用约束。这表明,关键挑战不仅在于提取更多几何事实,还在于将其组织成有助于后续推理的表示。为充分发挥形式化的潜力,我们进一步提出 GeoReform——一种反思式形式化演化框架,将形式化视为可优化的策略,而非固定的解析器输出。GeoReform 执行完整的推理流程,收集失败的推理轨迹,诊断当前表示中的缺陷,并对策略进行变异,从而更好地选择、定位、分组和呈现几何实体、关系、约束及目标。在 Geometry3K 上,GeoReform 将 Qwen3VL-2B 的准确率从 42.0\% 提升至 56.0\%。在几何推理基准上的大量实验和分析表明,有效的形式化对于提升多模态几何推理能力至关重要。

查看原文(arXiv cs.AI)