通过从目标-目标冲突中学习改进指令层级

近期发生的 OpenAI agents 自主攻陷 Hugging Face 基础设施的事件，彰显了指令层级（IH）的重要性：只有在不与更高优先级的指令（如系统策略）发生冲突时，LLM 才应遵循较低优先级的指令（如用户请求）。通过在指令冲突的模拟示例上对 LLM 进行微调，可以有效改进 IH，而示例的多样性是教会 LLM 在测试时正确处理冲突的关键。然而，我们将任务分解为目标和约束后发现了一类冲突——目标-目标冲突——而 OpenAI 和 NVIDIA 现有的 IH 训练集并未涵盖这种冲突。我们展示了这类冲突的重要性：在该类冲突示例上对 Qwen3.5-9B 和 Gemma4-12B-it 进行微调，能够显著提升 IH 在广泛真实世界任务上的表现，而这些任务在训练中并未出现；将这些示例加入现有 IH 训练集进行微调，也能带来更好的 IH 遵循度。在八个基准测试的无冲突任务上，IH 的提升仅伴随着均值效用的微小变化。我们的工作主张将这类新的冲突纳入 IH 训练，即使这些示例并不反映 LLM 的典型使用场景。