Inject, Align, Recover：用于无检索文档知识内化的分阶段后训练

大型语言模型在推理时不检索源文档的情况下，往往无法回答有关有界文档集合的问题。我们将这一场景研究为文档知识内化：将固定语料库转化为可用于无检索问答的参数化知识。我们提出 IAR（Inject, Align, and Recover），这是一个三阶段后训练框架，将结构化文档知识注入、QA 行为对齐和通用能力恢复分离开来。不同于传统的持续预训练，Inject 将源文档转化为续写、改写和以指令为条件的重构目标。随后，Align 使用仅答案 QA 监督来适配已注入的模型，而 Recover 将领域适配模型与基础指令模型合并，以恢复通用能力。在 Common Corpus (CC) 和 CCI 上，以及在 Llama、Phi、Qwen 和 SmolLM 模型家族中，IAR 改善了无检索文档内化的领域优先与领域通用前沿。在主要比较中，IAR 在 8 个数据集-模型设置中的 7 个上，在全部四项报告指标上均优于 Vanilla SFT，领域 QA 准确率平均提升 3.6 个百分点，在 IFEval、MMLU 和 MSBench 上的平均通用性能提升 12.1 个百分点。扩展的 CC 基线显示，LoRA 和 FAPM 可以在单个通用指标上取胜，但在同时达到领先或接近领先的领域内化水平的方法中，IAR 保持着最强的通用表现之一。