嵌入几何结构塑造 LLM 路由：追踪失效模式并提升泛化能力
Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization
精选理由
以模型深层隐藏状态替代语义嵌入，可提升大模型路由在未见任务上的泛化与选型效果。
AI 摘要
arXiv:2610.19198v1 公告类型：交叉收录 摘要：随着可用 LLM 的数量不断增加，为给定提示选择使用哪个模型已成为一个关键问题。路由领域的大量研究依赖于将提示进行语义嵌入，映射到向量空间，再对嵌入表示应用轻量级分类器。这些方法在分布内表现稳健，却难以泛化到未见过的任务。通过研究语义嵌入的几何结构，我们追踪到一种明确的失效模式：决定未见提示的近邻的特征，并不能可靠地作为选择 LLM 的依据。因此，我们用以下映射替代语义嵌入：对提示执行 Qwen2.5-7B-Instruct 的部分前向传播，并使用其最后一个词元在某个深层的隐藏状态作为表示。将 kNN 和其他简单分类器应用于这种新表示后，我们在泛化方面得到了明确的结果：在不同成本惩罚下取平均，这些分类器的性能有所提升。此外，kNN 和我们提出的另一种简单分类器均优于所有参与评估的语义嵌入基线。我们的这两种简单方法在 RouterBench 上也超过了近期一种基于隐藏状态的最先进路由器。