多尺度面部视频脉冲提取网络

心率(HR)可以反映患者的心功能。近年来，远程光容积脉搏波(rPPG)作为一种非接触式HR检测方法，成为一个活跃的研究课题，吸引了越来越多的研究者。rPPG方法适用于监控情绪状态、监控驾驶员、检测生物特征活动性、检测虚假视频等各种不适合接触方式的场景。rPPG本质上是信号分离，它将目标脉冲信号从观测中分离出来。传统的rPPG方法分为基于盲源分离的方法和基于模型的方法。为了解决这一问题，本文作者设计了一个rPPG提取网络，该网络主要由两个部分组成：可分时空卷积(SSTC)和可分维度注意(DSAT)。在不破坏输入特征映射的前提下，SSTC使卷积核在H-T、W-T和H-W三个方向上移动，提取时空特征，强调对时间信息的关注。DSAT提取不同方向的特征，然后对每个方向的特征进行融合，得到H、W、T三个维度的一维(1D)特征，根据每个维度的特征分布得到时空关注矩阵。实现了空间信息与大跨度时间信息的交互。

作者提出了一种基于SSTC和DSAT的多尺度人脸视频脉冲提取网络。在该网络中，原始ROI被投影到多个尺度空间中进行初始信号分离。提出SSTC和DSAT对时空相关性进行有效建模，协同学习大跨度时空维度信息，自适应强化时空特征。为了进行比较，我们使用SOTA rPPG算法在公共数据集上进行实验。结果表明，多尺度信号融合比单尺度信号融合效果更好。提出的SSTC和维度可分离注意机制有助于更准确地提取脉冲信号。在未来的研究中，我们将重点探索脉冲信号的多维提取和无约束条件下脉冲信号的提取。

研究详情请见原文：

MSSTNet: Multi-scale facial videos pulse extraction network based on separable spatiotemporal convolution and dimension separable attention

https://doi.org/10.1016/j.vrih.2022.07.001

---

---