arXiv cs.AI精选73

STAG-Net:用于轻量级头部姿态估计的关键点组结构感知注意力

STAG-Net: Structure-Aware Attention over Landmark Groups for Lightweight Head Pose Estimation

· 18小时前

精选理由

以极少参数与算力实现高精度头部姿态估计,适合资源受限的实时交互与驾驶监测。

AI 摘要

头部姿态估计对于人机交互和驾驶员监测至关重要,但许多基于图像的方法计算成本仍然过高,难以部署在资源受限的环境中。我们提出 STAG-Net,这是一种用于轻量级头部姿态估计的关键点组结构感知注意力方法,通过运动感知选择、空间聚类、紧凑的 DeepSet 编码器、自注意力以及全局几何描述符,从面部关键点估计头部姿态。我们开发了分别使用 FaceMesh 和 Face Alignment Network 关键点的变体,并在 300W-LP、AFLW2000 和 BIWI 上按照跨数据集和受试者独立评估协议进行评估。在所有评估设置中,STAG-Net 的平均绝对误差均低于所有参与比较的基于关键点的方法。在检测有效的 BIWI 帧上,FAN 变体的总体误差也低于所有参与比较的方法,在跨数据集评估和受试者独立评估中分别达到 $3.51^\circ$ 和 $2.39^\circ$。回归器仅使用 1.2 万至 4.3 万个参数,浮点运算量为 2.41 万至 8.36 万次,比 FSA-Net 低约三个数量级。尽管包含关键点提取和回归,FaceMesh 处理流程在 Tesla T4 GPU 上仍达到每秒 322.9 帧,接近实测最快的基于图像的基线方法每秒 164.5 帧的两倍,在 CPU 上则达到每秒 111.0 帧。按数据集规模归一化后,STAG-Net 处理训练样本的速度是 FSA-Net 的七至八倍,是 HopeNet 和 TokenHPE 的一百倍以上,同时完整训练可在 28 分钟内完成。这些结果表明,STAG-Net 在基于关键点的方法中实现了领先的精度,同时显著降低了训练和推理成本。

查看原文(arXiv cs.AI)