CollabSciReM：通过科学感知的奖励分解对齐语言模型以支持科学对话

大型语言模型（LLMs）正越来越多地被用作研究协作者，参与多轮交互中的假设完善、方法规划和技术分析。在这一场景下，有用的助手必须做到准确、方法论上有依据、逻辑一致且令牌高效。现有的对齐方法很少能同时实现所有这些目标。经过指令微调的模型往往通过增加冗长度来提升对话质量，而我们表明，与科学无关的通用协作奖励会以牺牲科学严谨性为代价压缩响应。我们提出 CollabSciReM，这是一种目标条件化奖励框架，将会话级奖励分解为对话质量、科学严谨性和结构效率。我们还引入了 SciQuality，这是一种多轮研究对话的成对评估方法，以300篇留出科学论文为基础，并从六个维度进行评分：方法可靠性、论证充分性、逻辑一致性、事实正确性、新颖性和响应性。在8.62K条合成研究对话上进行微调后，在四个 Llama 和 Qwen 模型上，相较于使用相同数据训练的无科学感知奖励基线，CollabSciReM 在 SciQuality 评估中均更受偏好；在响应长度匹配时，其胜率达到65.3%。对于7B和8B模型，在10个单轮和多轮基准测试设置中的8个设置上，CollabSciReM 在主要指标上优于无科学感知奖励基线。在一项盲测研究中，领域专家对 CollabSciReM 的新颖性评分显著高于通用奖励变体，并报告称其产生的幻觉式响应少于通用奖励变体和基础模型。