Thomson:用于 SovereignAI 的前沿模型持续学习
Thomson: Continual Learning of Frontier Models for SovereignAI
精选理由
展示用持续学习低成本打造前沿模型的路径
AI 摘要
前沿模型的开发通常被认为是少数资金雄厚的参与者的专属职责,这在开发者与现代 AI 的多样化用户群体之间造成了信息、经济和权力的不对称。近期的公开讨论已经承认了这一问题,呼吁实现 SovereignAI(即一个组织能够独立构建、部署并治理 AI 使用的能力),但对于在多种资金条件下如何在短期内实现这一目标,却几乎没有给出具体建议。我们认为,通过对现成可用的开放权重模型进行持续学习,广泛范围内的机构都能够实现前沿性能。不同于小规模微调、提示工程或对冻结模型进行工具增强等有限方法,我们的方法利用了现代的中后训练技术栈,同时在各阶段引入保护机制,以保持可塑性与稳定性,并在参数上进行最少数量的高影响干预。这样获得的提升可与通常跨多个连续模型代际才会看到的进步相媲美,而计算和人员预算却远低于普遍认知,使得掌握 SovereignAI 技术栈的大部分内容(模型、工具基础设施、价值观与数据隐私)对更多参与者来说都变得可行。我们通过 Thomson 展示了这一点:这是一款通用型前沿模型,在高风险专业工作上进行了强化关注训练。Thomson 在智能体任务、安全、法律、税务与多语言能力,以及大规模 Deep Research 方面,均与近期前沿模型具有竞争力。评估显示出一种独特的 $π$ 形模式:在广泛能力范围内出现明显提升,包括那些并未被明确针对的能力,同时几乎完全消除了窄领域适配中常见的遗忘问题。