大型语言模型的潜在性能剖析

arXiv:2605.30018v3 公告类型：replace-cross 摘要：大型语言模型（LLM）经常在标准化基准测试中取得令人印象深刻的分数，但仅凭准确率无法全面反映其能力。在排行榜上评估开源 LLM 时，始终面临数据污染、任务范围狭窄以及与现实世界可靠性匹配度低等问题。基于基准的评估（如 MMLU-Pro、BBH 或 IFEval）主要捕捉模型在固定测试集上输出了\textit{什么}，而无法反映模型\textit{如何}处理信息、校准不确定性或组织内部知识。在本文中，我们倡议将评估方式从以基准测试为中心转向对 LLM 进行互补的、\textit{以状态为中心的内在评估}。为此，我们提出\textbf{Latent Performance Profiling (LPP)}——一种从隐藏激活和输出分布中提取与任务无关诊断信息的框架。LPP 在模型的潜在表示和动态特征上定义了一组标量指标，揭示有助于进行可解释比较并发现隐藏脆弱性的特征。不同于静态准确率分数，LPP 能够在规模相近的模型之间提供稳定且对架构敏感的特征。通过对八个 LLM 进行广泛的实证分析（模型规模涵盖 0.5B 至 14B），我们证明，基准分数相近的模型可能呈现出截然不同的潜在特征，例如在熵或可压缩性方面存在差异。在这些洞见的指导下，我们设计了用于不确定性和符号推理的合成探针，使其与内在指标保持一致，同时摆脱排行榜偏差的影响。我们建议在报告基准测试结果的同时报告 LPP，以便更深入、可解释地理解模型行为，从而支持更可靠的模型选择、安全性评估以及超越表层准确率的评估。