时空域融合的骨架动作识别与交互研究

在人体骨架结构动作识别方法中，很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合，没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息，定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM)，用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PM-STF)，融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证，本文提出的方法是有效性的，与其他方法相比，在识别效果上具有很好的竞争力。设计的人体动作交互系统，验证了在实时性和准确率上优于语音交互系统。