分工：将证据解读与决策聚合分离

要求语言模型从多个来源得出结论的系统，通常会把这些来源拼接到一个提示中。这混淆了两种具有不同要求的操作。解读一个来源会受益于容量和上下文。组合这些解读则需要固定的算术、跨实例的可比性，以及返回空结果的选项。一旦将二者分离，设计问题就变成了它们之间的接口。我们提出一种四字段证据元组（假设、可靠性桶、理由、出处），并表明固定该元组即可决定两个部分。分离还揭示了这类系统在组合方式上的一种失效模式，我们称之为计数尺度漂移。对未归一化权重之和设定阈值，严格等价于后验阈值判定，但其工作点会随着所咨询来源的数量而滑动。这种滑动会随着阅读器可靠性的提高而增大。当来源可靠性不同时，投票规则与后验会以不同顺序排列实例，而且不存在能够调和二者的阈值。汇聚经过校准的对数似然比可以解决这两个问题。修正方法是算术层面的，而不是架构层面的，并且适用于语言模型之外的一类规则：分数求和的分诊引擎、通过计数阳性项来评分的诊断面板，以及加性多信号检测器。随后，我们在一个纵向语料库上两次实例化这一原则，一次是在结果揭晓之后，一次是在结果揭晓之前。同样的划分在两种情况下都有帮助，但粒度不同：第一种情况下作用于阅读，第二种情况下作用于学习容量。在后者中，一个在简单辅助目标上训练的小型序列编码器，加上一个承载删失生存损失的树集成模型，达到 0.921 的 AUPRC，而手工构建的基线为 0.805。我们区分哪些内容可以迁移、哪些内容必须按领域重新估计，并给出五项可能证伪该框架的预测、三项负面结果，以及哪些比较仍然存在混杂。