在模拟环境中训练用于精神科接诊的语言模型

在精神科实践中，临床接诊访谈仍是主要的诊断工具之一，要求临床医生在建立信任关系的同时，理清复杂且相互重叠的临床表现。在此，我们表明，在模拟环境中进行多轮强化学习（RL）能够提升语言模型在结构化文本精神科接诊任务中的表现，涵盖病史采集、鉴别诊断和初步管理计划制定。在一项随机、双盲交叉研究中（$N = 60$对匹配情景，共120次接诊），研究将经过RL训练的智能体与采用完全相同提示词的基础模型进行比较；32名获得专科认证的精神科医生扮演标准化患者，另由一个由15名独立的、获得专科认证的精神科医生组成的评审小组对去标识化转录文本进行评分。经过训练的智能体在76.7%的匹配情景对中优于基础模型（$p < 0.0001$），并在改编的临床考核评分标准（$d_z = 0.77$，$p < 0.0001$）、以患者为中心的沟通（82.0% vs. 65.2%，$p < 0.001$）以及鉴别诊断适切性（68.3% vs. 33.3%，$p < 0.001$）方面取得提升。在127个经精神科医生验证的模拟接诊情景中，经过训练的智能体临床评分几乎达到其基础模型的两倍（0.706 vs. 0.379；综合奖励0.564 vs. 0.294，$p < 0.0001$）。为系统探测对话安全性，我们基于Delphi共识建立了两套分类体系，分别用于刻画临床安全风险和关系能力，并据此构建了256个具有挑战性的对抗性表现；我们发现，在模拟环境中进行训练，使急性安全风险分诊不足的比例降低了一半以上（12.9% vs. 30.5%，$p < 0.0001$）。因此，模拟环境为训练和压力测试精神科对话智能体提供了受控的测试平台，且相关收益能够迁移到由精神科医生扮演的接诊情境中；不过，仍存在的差距意味着需要采取安全防护措施并由临床医生进行监督。