基于 Stackelberg 博弈的多 LLM 协作对齐

arXiv:2609.39076v2 公告类型：替换并交叉归类 摘要：一组语言模型可以通过相互学习彼此的回答开展协作，实现共同提升。这些交互依赖于训练过程中使用的指令。现有方法通常均匀采样指令，但指令的效用可能随着模型能力的提升而变化：对于某条指令，模型的回答质量曾经存在差异，后来却可能同样出色；而此前较难的指令则可能开始提供有用的学习信号。我们提出 Stackelberg Alignment，这是一个受博弈论启发的领导者—跟随者框架，将指令选择转化为自适应课程。EXP3 多臂老虎机算法充当领导者，在各条指令之间分配固定的采样预算，并利用结合指令难度与回答可区分性的奖励来更新采样分布。语言模型充当跟随者：回答所选指令，相互评价彼此的回答，并通过 DPO 或 GRPO 从由此产生的偏好信号中学习。该框架采用 Elo 风格的声誉加权同伴评判和基于声誉的对手匹配，以支持可靠且具有竞争性的模型交互。在三个异构模型池和 12 个涵盖科学发现、推理、代码、指令遵循及知识的基准上开展的实验表明，Stackelberg Alignment 在这三个多样化模型池中均取得最高的宏平均得分，相较于最强的训练阶段基线，提升幅度最高达 7.4%，相较于最佳静态推理基线，提升幅度为 12–25%。分析证实，自适应领导者将对决集中在信息量最大的指令上；消融实验表明，声誉加权评判和基于声誉的匹配均能提高多 LLM 演化的有效性。