同策略自训练：大语言模型的无数据自我改进

同策略自蒸馏能够在不依赖更强外部教师模型的情况下，对基础模型进行后训练。然而，现有方法依赖于真实标注的问答对、人工整理的问题集或其他监督信号。在本研究中，我们将同策略自蒸馏重新构建为一个由自生成问答对和特权推理示范驱动的自训练框架。我们将监督需求压缩至极限：仅在粗粒度、高层次主题描述的引导下，模型自行合成由问题和特权推理轨迹构成的训练课程，无需访问任何人工整理的提示或答案。我们发现，基于完全合成的特权信息进行自蒸馏，能够使模型在多个领域取得提升，同时保留其在未进行自训练的领域中的能力。我们在文本和多模态领域验证了该框架的通用性，在标准语言基准测试和视觉问答任务上均实现了稳定的自我改进。我们的研究结果表明，基础模型拥有丰富的潜在能力，无需外部任务监督或精心整理的问题分布即可进一步增强这些能力。