Samsone：面向端侧推理的开放式小型音频语言模型系列

大型音频语言模型的成功推动了参数量超过数十亿的超大规模多模态网络的发展。然而，对保护隐私和低延迟处理的需求，使研究重点转向能够在设备端运行的小型音频语言模型（SALMs）。本文介绍了面向边缘计算设计的 SALMs 系列 Samsone。我们的核心模型 Samsone-134M 在多个基准测试中为其规模类别确立了新的当前最先进水平。我们还通过推出 Samsone-99M 和 Samsone-356M，进一步探索 SALMs 的规模定律。尽管模型规模紧凑，Samsone 系列的性能仍可与参数量大几个数量级的模型相媲美。为推动开放研究和结果复现，我们使用公开可用的数据训练 Samsone。我们发布了训练代码、模型权重和针对移动设备优化的检查点，并提供了一个开源 Android 应用，用于展示 Samsone 在设备端的实时推理能力。