为未标注项评分：来自 RecSys-HR 2026 WorkRB 技能抽取挑战赛的启示

技能抽取基准以少量人工标注的正例来评估模型，并将词表中的所有其他技能一律视为错误。在 ESCO 的规模下（13,939 项技能），这种二元视角可能会奖励那些因错误原因而将已标注正例排在高位的模型，同时掩盖语义上不合情理的预测。RecSys-HR 2026 的 WorkRB Challenge 以分级相关性取而代之：模型排序窗口中的每个候选技能都被赋予 0 至 4 分的等级，排行榜则依据这些等级计算 nDCG@100。由于三级判断对于客观标注而言过于粗糙，相关性被分解为四个级联的二元问题（是否属于同一领域、是否提及该活动、粒度是否合适、能否替代金标准正例），使规模较小的 LLM 评判模型也能可靠作答；这些标签通过人工和前沿模型的盲法重新标注进行验证。本文介绍了标注方法、五个基准数据集的构建（其中四个以招聘信息中的句子为查询，一个以词汇层面差异较大的技能表述为查询）、LLM 级联流程的验证，以及从参赛方案中获得的启示。参赛方案趋于采用多阶段检索与重排序流水线，其性能提升来自清除排序窗口中不合情理的结果，而非发现更多正例：在排行榜前列，基于分级评估的名次与二元评估得出的名次并不相关。相较于二元评估，分级标签揭示了领先参赛方案与基线之间大得多的差距，也表明基于语义理解的技能推荐仍有广阔的探索空间。下一步的明确方向是重新重视效率：在所有能够确定参数规模的参赛系统中，每个系统的参数量都至少是其所超越基线的 42 倍，通常达到数百倍。