使用 LLMON 对大型语言模型进行后训练

大型语言模型（LLM）将所有上下文令牌一视同仁，缺乏对可执行指令与被动数据的明确区分。这会导致提示注入漏洞、指令绑定不明确以及执行控制不可靠。我们提出了一种使用 LLMON（LLM Object Notation）的后训练方法。LLMON 是一个支持将指令与数据分离，并要求基于显式标识符执行的框架。我们构建了一个包含 46 亿令牌的大规模结构化训练语料库，涵盖通用数据、RAG（Retrieval-Augmented Generation）数据和工具调用数据，并加入了含干扰项的变体：其中上下文包含相互竞争的指令和未被引用的无关数据片段。我们先通过监督微调，再通过强化学习对两个 Granite-4.1 基础模型（3B 和 8B）进行后训练。结果表明，在保留通用能力的同时，采用 LLMON 结构化监督可将间接提示注入基准测试中的攻击成功率从 53%–100% 降至 0.02%–5.6%。此外，我们引入了基于注意力的可解释性指标，用于诊断结构化输入在各个 Transformer 层中的失效模式，揭示了该方法如何重塑内部注意力模式。我们的结果表明，无需修改架构，即可通过标准后训练教会模型明确的执行语义。