通过边际奖励实现自我演化的视觉智能体

将推理与工具调用交织进行的视觉智能体，为多模态任务提供了一个颇具前景的方向。然而，有效工具调用的学习通常依赖大规模精心整理的问答对或专家示范，而获取这些数据的成本高昂。在本研究中，我们提出 Marvo，这是一种简单而有效的自我演化方法，能够从未标注图像中学习工具调用。Marvo 由两个智能体组成：（1）挑战者，从未标注图像中生成问答对；（2）求解器，通过强化学习解答问题，从而学习工具调用。为了促进有效的工具调用，优质的训练问题应当足够困难，能够促使求解器使用工具，同时又应处于求解器的能力范围内。为此，我们向挑战者引入边际奖励，其定义为求解器在有无工具访问权限时的性能差异。借助边际奖励，我们构建了一种自适应课程学习机制，鼓励求解器学习有效的工具调用。在涵盖智能体推理、视觉搜索、数学推理和通用现实世界推理的各项基准测试中，Marvo 将平均准确率最高提升了 7.1\%，证明了边际奖励是无需人工监督、扩展问题复杂度的更优方式。