一套基底，驱动所有角色：面向实时虚拟角色的高斯混合形状蒸馏

3D 高斯虚拟角色支持快速渲染，但其实时动画通常受到高成本神经网络推理的限制。我们针对这一瓶颈展开研究，发现预训练虚拟角色模型的动画可以通过与身份无关的混合形状线性组合进行高精度近似。基于这一发现，我们提出 GALA（Gaussian Animation via Linear Approximation），这是一种蒸馏方法，以浅层系数预测器和线性混合替代逐帧执行的复杂神经解码。为提升保真度并降低内存需求，我们在考虑渲染感知度量和内存预算的条件下，采用局部块 PCA 构建基底。我们训练了一个浅层 MLP 网络来预测混合形状系数，并且无需重新训练原始模型，即可应用于各种动画架构。我们通过加速三个不同虚拟角色模型的推理来验证 GALA，这些模型用于带有表情和服装动态的 3D 面部动画及全身动画。在这些模型上，我们的蒸馏方法能够泛化到未参与训练的身份，在保留大部分渲染质量的同时，将 CPU 动画成本降低最高三个数量级。我们方法取得的出色结果证实了学习到的虚拟角色表示中存在共享的线性结构，并支持在移动设备上以最高达 60fps 的帧率实现高效且精确的动画。项目主页：https://ramazan793.github.io/gala/