一个基底，驱动所有角色动画：用于实时虚拟形象的高斯混合形状蒸馏

arXiv:2610.02207v1 公告类型：cross 摘要：3D 高斯虚拟形象支持快速渲染，但其实时动画通常受到高成本神经网络推理的限制。我们针对这一瓶颈展开研究，发现预训练虚拟形象模型的动画可以通过与身份无关的混合形状线性组合来近似。基于这一发现，我们提出 GALA（Gaussian Animation via Linear Approximation），一种蒸馏方法，用浅层系数预测器和线性混合替代逐帧的复杂神经解码。为提升保真度并降低内存需求，我们在渲染感知度量和内存预算约束下，利用局部块 PCA 构建基底。我们训练了一个浅层 MLP 网络来预测混合形状系数，并且无需重新训练原始模型，即可应用于各种动画架构。我们通过加速三种不同虚拟形象模型的推理来验证 GALA，这些模型用于实现带有面部表情和服装动态的 3D 动画以及全身动画。在这些模型上，我们的蒸馏方法能够泛化到未参与训练的身份，并在保留大部分渲染质量的同时，将 CPU 动画成本最高降低三个数量级。该方法取得的出色结果证实了学习型虚拟形象表示中存在共享的线性结构，并支持在移动设备上以最高达 60fps 的帧率实现高效且准确的动画。项目页面：https://ramazan793.github.io/gala/