DKL：用于指令微调语言模型的解耦知识学习

RAG 已成为将新的、特定语料库知识纳入遵循指令的 LLM（Instruct LLM）的事实标准方法。尽管基于 RAG 的提示能提升事实依据性，但当检索结果不正确或不完整时，它会失效，从而导致幻觉。RAFT 和 PA-RAG 等微调方法通过将新知识注入模型参数来增强 RAG，但需要生成大量覆盖整个语料库的合成 QA。对文本语料库进行 Extended Pre-Training（EPT）可以避免全面生成合成数据的需要，但会削弱 Instruct LLM 的指令跟随能力，因此需要在预训练后进行 instruction fine-tuning（IFT）。然而，IFT 成本高昂，并且由于指令微调语料库不可用，可能根本无法实施。在这项工作中，我们提出 DKL——用于指令微调语言模型的解耦知识学习。DKL 不对 Instruct LLM 进行 EPT，而是对其对应的 base LLM 进行 EPT，以注入新知识。随后将这些注入了知识的权重与 Instruct LLM 合并，在不影响其指令跟随能力的情况下赋予其新知识。DKL 是一种轻量级方法，避免了昂贵的 instruction fine-tuning，并依赖模型合并将新知识注入 Instruct LLM，而不会破坏其指令跟随能力。实证结果表明，在检索失败案例中，DKL 将 RAG 准确率从 54.17 提升到 79.26，同时以显著更少的训练数据优于先前方法。