SEEK：面向工业搜索的技能路由评估与可演化知识

搜索质量评估为工业搜索系统的开发与迭代提供了必要的监督信号和诊断信号。尽管大语言模型（LLMs）为人工评估提供了可扩展的替代方案，但可靠的自动评估仍然具有挑战性：用户是在页面层面体验搜索结果，而适用的评估标准则具有多维性并且持续演化。将所有评估标准整合到统一提示词中，会引入无关上下文以及潜在的标准干扰；而通过后训练将这些标准内化，则会使规则更新与高成本的模型重新训练周期紧密耦合。 为解决这些问题，我们提出了技能路由评估与可演化知识（SEEK）。具体而言，SEEK 将特定的搜索评估标准外置到技能库中，针对每个查询—结果列表对动态路由相关技能，并采用任务适配的列表级评估器，生成页面级判断和失败模式归因。两阶段训练流程使评估器学会将评估标准与人类偏好对齐，而回放门控技能库则能够在无需重新训练模型的情况下，将反复出现的评估知识缺口纳入其中。在工业短视频搜索上的实验表明，SEEK 提升了列表级质量评估的准确性，并在归因诊断方面取得了显著进展。SEEK 已部署于 Kuaishou——一个拥有超过4亿日活跃用户的短视频平台，显著提升了线上搜索评估的规模与质量。