LLM 动物园之夜：用于生成预训练 LLM 权重的数据条件流匹配

arXiv:2611.07103v1 公告类型：新投稿 摘要：随着权重空间学习从特定任务模型和视觉模型扩展到大语言模型（LLM），其面临的一项挑战是缺乏经过精心整理和分析的 LLM 模型群体。为此，我们训练了一个用于权重空间生成的模型动物园：针对参数规模分别为 51M、124M 和 355M 的 GPT-2 模型群体，系统地改变网页文本、书籍、数学、代码和法语数据的混合比例，每个规模层级包含 N = 100 个模型。我们通过余弦相似度、功能多样性、留一混合配方建模和方差分解来分析这些模型群体。结果表明，该动物园包含多样化的模型，其差异呈现出由训练数据混合比例决定的结构。我们对训练数据混合比例进行嵌入，并以此为条件，在经 Gram-PCA 压缩的权重空间中构建针对完整预训练 LLM 权重的流匹配模型。通过展示对留出混合配方的零样本泛化能力、衡量连续排序概率评分的技巧得分，以及发现下游测试集困惑度和通用能力基准测试得分的变化极小，我们表明，该生成器能够在数据混合比例构成的单纯形上泛化，从零生成性能与动物园中模型相近的模型。最后，我们提供全部源代码和产出物，以支持权重空间学习与生成持续向 LLM 领域拓展。