学习预测测试时适应的权重更新分布

arXiv:2610.01934v1 公告类型：新 摘要：近年来，超网络已成功根据任务描述或额外示例等信号，在运行时动态调整大型语言模型（LLMs）的参数。在此，我们提出一个问题：仅使用输入给 LLM 的查询，能够获得多少适应信号？为回答这一问题，我们研究了用于估计 LoRA 的查询条件超网络。进一步地，我们引入了分布式超网络，它不仅能够生成参数适配器的点估计，还能生成可能的 LoRA 分布。为此，我们使用可微蒙特卡洛近似提出了一种简单的端到端损失，并探索了包括回归变体和凸组合变体在内的多种分布参数化方式。结果表明，即使仅使用所学习分布的均值，其性能也能超过确定性超网络。更重要的是，所学习的分布实现了一种不同形式的测试时扩展：不再只是从固定模型中采样更多词元序列来增加计算量，而是对权重更新进行采样，从而针对同一查询生成多个适应后的模型。随着考虑的权重样本数量增加，性能不断提升，并且始终优于相应的基于词元采样的适应基线。最后，我们发现生成的更新可以跨查询迁移，这表明超网络学会了模型应如何进行适应的可复用结构。总之，这些结果表明，查询条件的权重更新分布能够同时支持模型适应和测试时扩展。