Internalizer：面向超大型语言模型的可移植上下文到参数映射

arXiv:2610.11715v1 公告类型：cross 摘要：将上下文直接映射为 LoRA 适配器的超网络能够让大型语言模型将该上下文携带在其权重中，但已有工作仅在最多拥有 140 亿参数的基础模型上进行了验证。我们提出了 Internalizer，这是一种先进的、可移植的上下文到参数映射超网络，能够为冻结的、拥有 284B 参数的 DeepSeek v4 Flash 生成文档特定的 LoRA 适配器；其目标模型规模比以往任何工作都大两个数量级。它的大部分参数都位于与模型无关的主干网络中，每个基础模型仅需配备轻量的输入层和输出层，因此可以先针对小型模型以较低成本训练，再迁移到大型模型上。在长度最多为 4096 个词元的未见文档上，即使上下文窗口中除一个三个词的指令外没有任何内容，生成的适配器仍能达到 84.9% 的 top-1 和 97.8% 的 top-5 教师强制准确率，而基础模型对应的准确率分别为 63.4% 和 83.5%。超网络训练完成后，只需一次前向传播，就能将任意文档转换为适用于这类模型的适配器；该适配器既可以单独提供服务以提升速度，也可以与文档一同放入上下文窗口中，从而进一步提高准确率。