emg2face：利用高密度表面肌电信号生成富有表现力的面部动画

arXiv:2610.09304v1 公告类型：交叉收录 摘要：面部运动传递着细微而重要的信息，对人类社会交流至关重要。当面部被 VR 头显等头戴式设备（HMD）遮挡时，光学面部捕捉方法很难甚至无法使用。即使视线无遮挡，此类方法也会引发隐私担忧，并且需要使用头戴式捕捉支架，将摄像机和照明设备置于面部前方一定距离处。我们表明，高密度表面肌电（HD-sEMG）提供了一种可行的非光学替代方案，能够应对这些挑战。我们使用两个织物肌电电极阵列测量了 64 个肌电通道，其中 32 个来自前额（通常被 HMD 遮挡），另外 32 个来自面部侧面。肌电数据以 2048 Hz 的采样率数字化并经过滤波处理。我们同时录制面部运动，并使用 MediaPipe 的 Face Landmarker 估计 478 个三维面部标志点。此类多模态记录的一项主要挑战是同步肌电数据与视频数据，因为两者具有不同的采样频率和独立的时钟。我们开发了一种利用模拟音频短脉冲的新型同步方法，能够实现亚毫秒级同步。我们还开发了一种分阶段拟合方法，在参与者做出不同面部表情时，将一个近期提出的高分辨率参数化头部模型（GNM）拟合到 MediaPipe 标志点上；该模型具有 253 个身份混合形状和 383 个表情混合形状。我们训练了一个深度神经网络，由各电极阵列对应的空间编码器及其后的扩张时序卷积网络（TCN）组成，以 100 Hz 的频率从 HD-sEMG 信号预测混合形状参数。训练完成后，该网络仅凭 HD-sEMG 记录即可预测表情混合形状。其输出可使用标准实时混合形状动画方法进行渲染。我们利用 25 名参与者的记录展示了这些方法，并演示了将表情直接迁移到多种人脸和非人类角色上。