学会提问:预算约束下 SLM-LLM 协作的信息获取
Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget
精选理由
提出按需向大模型提问的协作方法,在预算约束下提升推理性价比。
AI 摘要
小语言模型(SLM)与大语言模型(LLM)之间的协作,为结合小型模型的高效率与大型模型的强大推理能力提供了机会。现有方法主要将此类协作视为计算分配问题,即确定推理过程的各个部分应由哪个模型处理。然而,在基于黑盒 API 的场景中,这种范式可能因粒度过粗的任务委派,或模型切换时反复传输上下文而效率低下。在本文中,我们转而将 SLM-LLM 协作建模为预算约束下的信息获取问题。SLM 仍作为主要推理器,仅在需要时选择性地向黑盒 LLM 顾问发起查询,提出有针对性的问题,而不是将推理过程本身委派出去。为实现这一策略,我们构建了一个三阶段 RLVR 框架,学习是否调用顾问、如何构造有用的查询,以及如何通过联合优化顾问调用与信息利用,将协作整合进推理过程。在数学推理和代码任务中,我们的方法相较于现有协作基线改善了性能—成本权衡,并且在某些设置下达到了甚至超过了理想的问题级路由效果。最后,我们展示了该策略无需进一步训练即可迁移到其他顾问模型系列。