面向 Roblox Game Search 多组件查询理解的搜索感知强化学习

查询理解（QU）在生产环境搜索系统中发挥着关键作用，它将用户的原始查询转换为驱动下游召回与排序的搜索执行计划。尽管大语言模型（LLM）使 QU 能够被建模为结构化的多任务生成问题（例如意图分类、查询扩展），但如何优化这类模型以生成与搜索引擎耦合的输出仍然具有挑战性：静态的、基于标签的监督无法捕捉每个组件实际上如何与底层搜索流程交互并影响下游性能。我们提出了一种基于“先蒸馏后 RL”范式的 QU 搜索感知强化学习（RL）框架。教师-学生监督微调（SFT）首先生成格式良好且符合 schema 的策略初始化。随后，RL 阶段通过与搜索引擎的实时交互获取奖励，并针对每个 QU 组件的实际作用进行定制化优化，而不是使用与最终搜索结果相关联的单一奖励。在 Roblox 搜索上的实验表明，这种面向组件的优化同时提升了各组件的效用和下游搜索质量：相较于 SFT 策略，NDCG@20 提升了 8.9 个点；相较于使用单一端到端奖励进行训练，提升了 3.5 个点。