K-Bench：用于评估高风险心理健康对话中大型语言模型的临床校准基准

% !TEX root = ../main.tex 人们越来越多地使用大型语言模型（LLMs）寻求心理健康支持，但它们在不断演变的高风险对话中的安全性仍缺乏充分刻画。我们开发了 K-Bench，这是一个经临床医生校准、受保护的基准测试，用于评估来自 14 家提供商的 33 个基础模型所对应的 125 种模型配置，涵盖固定队列中的 200 个多轮短对话案例，涉及自杀、自残、家庭暴力、物质滥用以及无风险情形。合成患者对话与真实人机对话在分布上呈现出较大重叠。一个冻结的 GPT-4o 评判器在 151 份经临床医生评分的对话记录所包含的 6,751 个符合条件的项目比较中，与临床医生共识达到了 94.2% 的完全一致率。领先模型在提供有力支持性对话的同时，综合风险评分超过 95 分；而在风险探索方面，表现较低的模型配置之间则呈现出显著差异。治疗性提示带来的提升因配置而异，且主要集中在较弱的模型上；提高推理能力并未带来平均水平上的改善。K-Bench 将更广泛的临床覆盖范围和大规模配置比较结合起来，并配有持续更新的公开排行榜，其实际测试材料受到保护，以避免被直接针对性优化。排行榜可访问 www.k-bench.ai。