SyntaxBench：大型语言模型字符级推理的统计诊断框架

arXiv:2610.03329v1 公告类型：cross 摘要：大型语言模型越来越多地被用于细微语法错误至关重要的场景，但字符级推理仍主要通过孤立探测和总体准确率进行评估。我们提出 SyntaxBench，这是一套用于字符级推理的诊断基准与统计评估框架。它包含五项核心任务：字符计数、字母包含判断、回文检测、编辑距离和最长字符串选择，另加一项难度更高的子串提取压力测试 index_to_span。五项核心任务使用成对的英语输入和字符长度匹配的随机字符串输入。index_to_span 中的文档长度均处于 200–500 词范围内，且不进行字符长度匹配。六项任务均采用零样本、单样本和四样本提示。我们在 11 种推理模式配置下，评估了 8 个参数量从 2B 到 32B 的开放权重模型。该框架报告完全匹配准确率和宽松准确率、Cohen's kappa、带优势比的成对 McNemar 检验、自助法置信区间、Kendall's tau、类别条件指标、分词分析，以及经过多重比较校正的检验结果。研究有三项突出发现。第一，分词会影响准确率：与英语字符串相比，随机字符串具有更高的字符可见性（每个词元分别包含 1.892 和 3.169 个字符），并且随着英语单词占用更多词元，字符计数准确率会下降。第二，推理模式并非始终有帮助：在接近饱和的任务上，Gemma4-31B 在不同模式下几乎没有变化；而在回文检测任务中，Qwen3.6-27B 开启思考后的表现反而更差（四样本条件下，不思考为 0.952，思考为 0.886）。第三，index_to_span 仍基本未被解决；四样本条件下最佳完全匹配准确率仅为 6.75%。字符级评估需要受控输入、成对检验，以及对分词和推理模式的分析，而不能仅依赖总体准确率。