以风格进行推理：发现并控制语言模型中的风格

arXiv:2610.00724v1 公告类型：cross 摘要：语言模型会联合学习内容与风格，因此很难识别和控制其输出中的风格变化。我们研究了能否在无监督的情况下发现模型响应中反复出现的风格，并对其进行显式控制。我们设计了一种算法，用于从语言模型的输出中学习分离内容与风格的表示，并在受控环境下的数学问题上验证了其有效性。通过将该方法应用于来自九个不同教师模型的超过 10 万条经过验证的推理轨迹，我们发现了六种反复出现但分布不均衡的风格。随后，我们对较小的学生模型进行微调，使其在得到明确风格条件的情况下遵循这些风格，并使用重要性加权来平衡语料库中不同风格的贡献。在六个数学推理基准上，与使用相同数据进行标准微调相比，该方法提升了 Pass@$k$，表明我们能够有效地使答案的风格多样化。我们进一步确认，这也使请求的风格与实际生成的风格之间呈现出很强的一致性。我们发现，风格会影响正确性：能否解决问题取决于所设定的风格，而不同问题也会从不同风格中受益。总而言之，我们的结果表明，模型生成数据中的风格变化可以通过无监督方式被发现并显式化，从而同时实现控制能力和推理性能的提升。