相同文本，不同预测：文本分类器在服务上下文中的非确定性

arXiv:2610.09111v1 公告类型：交叉发布 摘要：确定性推理对于可靠且值得信赖的机器学习至关重要。此前关于文本生成的研究表明，即使提示词、模型参数和采样随机性保持不变，改变批大小、批组成、硬件或推理引擎等因素，也可能改变生成的文本。这些差异部分归因于浮点运算的非结合性、依赖张量形状的计算内核选择，以及数值执行中其他实现层面的差异。然而，同样的因素是否、何时以及在多大程度上影响文本分类，目前仍不清楚。我们对文本分类器在服务上下文变化下的非不变性进行了系统研究，此前的工作仅通过生成文本来衡量这一现象。我们训练了180个模型，涵盖判别式、伪生成式和完全生成式分类器范式，并在保持检查点和文本不变的情况下，在四类服务上下文中评估每个模型。标签稳定并不意味着分数稳定。仅改变批形状，在fp32对比中不会导致任何标签变化，但在bf16下会使预测概率质量发生高达56.7个百分点的偏移，且标签变化集中在分类间隔较小的样本上。在相同的服务条件变化下，完全生成式分类器的标签变化多于对应的判别式分类器。我们推导了每种服务条件变化下标签保持稳定的充分条件，并针对每种机制分别提出了缓解措施。我们的结果识别并量化了为实现可复现的文本分类而必须固定的服务条件。