语言承载专家印象：以评估工具为锚点的 LLM 评判器可迁移咨询质量评估能力，并超越域内训练

arXiv:2610.08055v1 公告类型：交叉收录 摘要：双人咨询对话中沟通质量的自动评估受制于数据瓶颈：经专家评分的语料库规模小，扩充成本高。我们研究了在三个德语模拟咨询语料库之间，对专家总体印象的预测能否实现跨域迁移（两个为全科医疗咨询语料库，一个为学校相关的家长—教师咨询语料库；共 $n=195$ 场经专家评分的咨询，其中一个语料库经过量表等值处理）。在其他领域上训练优于在目标领域内训练：留一领域迁移的嵌套评估 Spearman $\rho = 0.54$，而目标领域内训练的结果为 $\le 0.48$；按咨询场次配对比较的差距为 $+0.15$，在训练集规模匹配后仍为 $+0.12$，因此这一优势并非仅由数据量带来。起决定性作用的特征，是小型开放权重 LLM 阅读双人对话转录文本后给出的场次级构念得分，而这些构念主要源自专家使用的评分工具：相较于通用对话质量指标，源自评分工具的指标组将单个评判器的表现从 $0.32$ 提升至 $0.41$；对来自三个模型家族的评判器进行集成后，仅使用语言信息即可达到 $0.51$；再加入双人非言语特征组可额外提升 $+0.03$，但在当前样本量下无法将这一增益与噪声区分开来。我们还量化了录制配置的代价：一个语料库丢失了按说话人分别录制的音频，其经说话人分离的片段中有 16% 的说话人标注错误，修复后该语料库上的表现提升了 $+0.07$。在实际可获得的语料库规模下，专家的总体印象主要承载于谈话内容之中；而与本项目的数据相比，其他沟通项目的数据更有助于预测这一印象。