A-RSI：面向零数据多模态自我改进的自适应任务刷新
A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement
精选理由
介绍一种无需外部数据、能自适应刷新任务并提升多模态模型表现的方法。
AI 摘要
递归式自我改进不仅要求模型获取有用的训练经验，还要求模型判断当前经验何时已不再有用。现有方法通常侧重于下一步生成什么经验，而较少关注何时应引入新经验。许多方法还通过自洽性或多数投票构造训练目标，使监督依赖于模型自身不确定的预测。我们分别处理这两个问题：训练动态决定何时获取新经验，而新任务的答案仍可独立验证。A-RSI监控训练日志中的奖励变化和准确率，在学习信号减弱时刷新任务池，且无需参考验证集或测试集得分。一个由模型编写的静态程序库生成多模态问题并推导其参考答案；我们明确任务生成契约，自动验证奖励规则和刷新规则所选属性，并分别审查生成的答案。训练循环不使用外部训练样本或人工编写的答案标签。在主要的11项基准测试套件上，使用800个新任务后，A-RSI将平均性能从57.77提升至61.05。