泛化是稳定性，而非准确率：LLM 的多轴评估

arXiv:2610.01428v1 公告类型：cross 摘要：大型语言模型（LLMs）的泛化能力，是指当同一输入以不同方式表达时，模型仍能生成一致且语义稳定的输出。现有研究通常通过单一提示格式、任务或变体集合上的总体准确率来评估泛化能力，这会将鲁棒性与基准测试的整体表现混为一谈。在本文中，我们从单个样例的层面、跨多个输入变体以及模型行为的不同方面考察泛化评估，关注输出的变异性，而不是将性能简化为一个可以通过针对性训练或其他掩盖泛化评估的方式加以提升的分数。基于这一观点，我们提出稳定性感知泛化目标（Stability-Aware Generalization Objective，SAGO），这是一个用于衡量模型在不同变化和基准测试下针对同一输入的行为变化程度的框架，能够捕捉多个维度上的变异性，包括生成一致性、内部激活、置信度和响应镜像。我们表明，许多常用模型都表现出具有统计显著性且一致的泛化不稳定性：没有任何模型能够在所有方面实现均匀泛化；不同的行为轴反映出相互独立的失败模式；跨数据集的差异还可能逆转模型排名。