基于能力的大语言模型逻辑推理评估

arXiv:2610.22894v1 公告类型：cross 摘要：近年来，大语言模型（LLM）取得了跨多种任务的出色表现；然而，其逻辑推理能力仍存在不足，包括在语言变体下表现不一致。为了提升 LLM 的推理能力，我们必须能够准确测量其推理能力。当前的基准测试主要报告模型在选定推理任务上的单一准确率数值。这种基于表现的评估方法对于模型在推理方面的泛化能力几乎无法说明什么。为解决这一局限，我们主张采用一种不同的评估范式，称为基于能力的评估（CBE），用于测试模型能否在一系列问题中可靠地应用同一种能力。参数化生成器在保持所需能力不变的同时扩展问题复杂度，而保持答案不变的匹配式呈现则用于测试模型在超越单一表述形式时的正确性。我们在基础排序任务上实例化了 CBE：在改变同一排序规则的不同呈现形式的同时，逐步扩大输入规模。在六个 GPT 和 Qwen 模型上，模型在有限复杂度范围内的表现相当不错，但即使是能力较强的模型，也无法在所测试的问题系列中满足能力条件。思维链和 GRPO 能够延长模型的良好表现，但无法解决所有测试中发现的失败；有监督 LoRA 在留出数据上的迁移表现则很有限。CBE 提供了诊断性能力概况和一套能够随未来模型发展而扩展的评估协议。