DIAL：通过蒸馏指令遵循程度实现可调控语言模型

当用户说“简短一点”时，大语言模型（LLM）的回答应该有多短？更一般地说，用户和应用需要不同程度的指令遵循，但提示无法可靠地对此提供细粒度控制。因此，我们研究“可调控语言模型”，通过细粒度的数值控制，调节模型遵循以文本形式指定的一般指令的程度。然而，现有方法无法同时实现细粒度控制、高效率以及对多样化指令的可扩展性。为弥补这一缺口，我们提出 DIAL（Distilled Instruction-Adherence Levels），以实现上述三项特性。在细粒度控制方面，我们对冻结的 LLM 应用无分类器引导（CFG），为不同程度指令遵循的同策略蒸馏提供训练信号。在效率方面，我们设计了一种轻量级调控适配器，利用作用于 LLM 隐藏状态的分类器，以闭式解计算调控修正量。该分类器根据目标遵循程度，自适应地设置每个词元处的调控幅度，同时考虑 LLM 隐藏状态的几何结构，以保持回答的连贯性。在可扩展性方面，分类器以文本为条件，使共享适配器无需针对每条指令单独拟合即可支持新指令，且训练仅需指令和请求文本。针对多个 LLM 系列的评估表明，DIAL 在概念表达与回答流畅性之间取得了具有竞争力的平衡，且概念得分随遵循程度的提高而单调递增。我们推出 SteerIF，这是一个仅包含指令的数据集，涵盖 98,625 条概念类、角色设定类、可验证类和描述类指令。在 SteerIF 上训练后，DIAL 能够对角色设定进行细粒度控制，并在结合提示使用时改善对可验证指令的遵循表现。