LongForge：通过证据-断言推理图衡量并改进长上下文指令数据

现有的长上下文指令微调数据质量控制，是在生成流程中进行一次性判断，仅留下一个标量，既无法揭示答案使用了文档中的哪些部分，也无法说明答案写下了多少个推理步骤；因此，这类数据既无法审计，也无法控制。我们将数据质量形式化为文档、问题和答案之间对齐结构的一种属性，并构建了 LongForge：它将用于衡量长上下文数据的分析器与用于生成这类数据的合成器结合起来。分析器将每个样本反向重构为证据-断言推理图，并以程序化方式计算其中的四个维度：广度、深度、正确性和完整性。每一项解读都可追溯至具体的证据片段和推理步骤，从而使数据具备可审计性。对七个主流数据集的测量揭示了两个此前未被量化的缺陷：广度几乎不随文档长度增长，而深度总体较低，且二者几乎正交。随后，合成器将分析器嵌入生成过程，在正确性和完整性上设置门控，并将广度和深度交由训练时基于测量值的混合策略处理，从而使训练分布变得可控。在两个骨干模型上，其两种混合方案 LongForge-1 和 LongForge-N 在六个长上下文基准测试上的平均表现超过最强基线 2.2–4.7 个百分点；在固定门控和候选池的受控比较中，仅提升广度和深度就能进一步带来 1.16 个百分点的增益，这表明训练数据的结构分布能够成为影响下游质量的杠杆，而不仅仅是对其进行描述。