将专家点评与 LLM 驱动的优化相结合：一种构建高质量 AI 评估数据集的迭代方法

arXiv:2611.05749v1 公告类型：交叉收录 摘要：评估和改进特定领域的 LLM 回答需要高质量的参考数据和评分标准，但由专家编写这些内容既耗时又昂贵，而合成数据集若不以专家判断为依据，就可能无法反映从业者的偏好。我们提出 SME-C（Subject Matter Expert Critique），这是一种人机协作工作流程，通过对候选回答进行轻量级点评来提取专业知识，并辅以 LLM 驱动的分析与优化，以迭代方式构建回答数据集和评估标准。我们在金融商业简报领域验证了 SME-C，通过两轮调查，收集了 411 名金融专业人士针对 520 个查询给出的 3,853 条点评。我们评估了两种由 LLM 驱动的优化策略：一种以专家的书面点评为指导，另一种仅根据专家的偏好投票推断点评意见。在一项另有 100 名专业人士参与的盲测验证调查中，我们发现，两种策略生成的回答质量均显著优于专家排名最高的基线回答。质量提升主要集中在原本较弱的回答上，且两种策略各有所长：基于点评的优化带来了更贴合领域知识的改进，而基于投票的优化则更善于识别和删除无关内容。最终形成的评分标准和优化后的数据集支持对 LLM 进行可复现的离线评估与基准测试。这表明，在以更快速度、更大规模和更低成本构建高质量的特定领域评估资源时，结构化专家点评是替代专家直接编写的一种可行方案。