先决定再查看：学习哪些检索到的记忆值得分配像素

多模态助手会根据包含图像的长期记忆回答问题。检索之后，每张检索到的图像要么以像素形式提供给回答模型（每张图像约占一千个视觉 token），要么以存储的文本代理形式提供，而后者往往缺少问题所询问的细节。我们发现，像素带来的收益通常来自一到两条检索到的记忆，并且可以在回答模型运行之前预测出来，无需读取任何全分辨率图像。在 PixelTriage 中，一个置于检索之后的插件使用一个不生成文本的小模型读取对话、每条检索记忆的简短注释和缩略图，并预测其像素信息能够带来的增益。该模型在合成记忆片段上进行训练，这些片段由冻结的 27B 模型标注：该模型分别在包含和不包含每条记忆像素信息的情况下回答每个问题。使用 7B 回答模型时，PixelTriage 在 M$^3$Exam、DMV 和 MemEye 上处于准确率—成本前沿，并且仅使用 11–23% 的视觉 token，同时准确率没有显著损失。在 DMV 上，与打开所有图像相比，它的回答速度快 2.9 倍。在相同预算下，它优于按检索顺序选择和统一缩小图像的方法，并且能够迁移到其他记忆系统以及 397B 回答模型。