基于特征融合卷积神经网络的FMCW雷达人体动作识别

针对微多普勒特征识别人体动作的局限性,基于调频连续波( Frequency Modulated Continuous Wave,FMCW)雷达采用深度学习方法对人体动作识别,提出了一种特征融合卷积神经网络结构.利用FMCW雷达采样的人体动作回波数据分别构建出时间-距离特征和微多普勒特征图,将这两种特征图作为输入数据分别...     

基于三通道CNN⁃GSAM⁃LSTFEM网络的雷达人体切向动作识别

为了提高干涉雷达对人体切向动作的识别性能,本文提出一种基于三通道CNN?GSAM?LSTFEM网络的人体切向动作识别方法。首先利用一发二收的调频连续波（FMCW）雷达搭建干涉雷达平台采集人体切向动作回波数据,之后对每个接收通道的回波数据进行预处理,得到每个接收通道的多普勒时频图（DTFM）和双通道的干涉时频图（ITFM）,然后将这3种时频图分别送入到3个并行的CNN?GSAM?LSTFEM网络进行训练,利用全局空间注意力模块（GSAM）和长短时特征提取模块（LSTFEM）增强卷积神经网络（CNN）的特征提取能力,最后将三通道提取的特征进行融合实现人体切向动作识别。实验结果表明,所提方法可有效提高人体切向动作的识别准确率,平均准确率高达98.77%。     

基于FMCW雷达的多通道特征融合人体动作识别方法

针对采用单一特征进行人体动作识别准确率不高的问题,提出了一种基于调频连续波(Frequency Modulated Continuous Wave, FMCW)雷达的多通道特征融合人体动作识别方法。通过对FMCW雷达回波数据进行预处理,得到人体动作的距离参数与多普勒参数,构建出距离-时间特征谱图和多普勒-时间特征谱图数据集。为了进行人体动作特征的充分提取与精确识别,改进了单通道输入的传统卷积神经网络结构,把部分残差连接结构和跨阶段部分连接结构进行了优化应用至雷达人体动作识别领域,设计出端到端的CSP-FCNN(Cross Stage Partial-Fusion Convolutional Neural Network)多通道融合卷积神经网络。采用公开数据集进行实验,结果表明所提方法有效解决了单一特征动作识别信息量欠缺以及网络提取特征不充分的问题,识别准确率较单一特征识别方法提高了5%以上。     

基于CNN-win Transformer的分布式超宽带雷达人体动作识别

针对传统雷达人体动作识别方法中特征提取能力不足和上下文建模困难的问题,提出了一种结合卷积神经网络(Convolutional Neural Network,CNN)和Swin Transformer的网络模型,用于有效识别分布式脉冲超宽带雷达数据中的人体动作。通过多分支的CNN对多个雷达的多个谱图、雷达数据的幅度和相位等特征进行提取和融合,利用Swin Transformer模块的多层自注意力机制对生成的特征映射进行上下文建模,提取具有高级语义信息的特征。采用代尔夫特理工大学（Technische Universiteit Delft）公开的数据集进行5折交叉验证,结果表明所提方法能够有效识别9类连续人体动作,识别准确率达到98.2%。     

基于层级化特征的人体动作识别

人体是非刚性物体,随着人体形状的变化,底层特征也会发生剧烈的改变,如何在剧烈变化的人体动作中发现其不变性是解决人体动作识别问题的关键。提出了一种基于层级化特征的人体动作识别算法。首先,基于Harris3D检测算法从动作视频中提取人体动作的底层特征;之后,根据人体结构对特征进行区域性的划分,并根据区域划分的精细程度得到高,中,低三层特征集合。利用词袋模型对特征点进行统计,使不同层级的特征映射到相同的特征维度空间。最后,使用隐条件随机模型对人体动作进行训练和识别。大量的实验结果也证明了层级化特征在人体动作识别上的稳定性。     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

基于双流独立循环神经网络的人体动作识别

针对RGB视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出基于双流独立循环神经网络人体动作识别算法。在提取特征方面,时间网络采用分层IndRNN对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的IndRNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用softmax对动作进行分类。在3D骨架动作数据集(NTU RGB+D)以及交互数据集(SBU Interaction Dataset)上验证了模型的有效性。     

基于WGAN-GP的微多普勒雷达人体动作识别

针对人体动作识别微多普勒雷达数据量有限的问题,本文提出基于梯度惩罚的沃瑟斯坦生成对抗网络(WGAN-GP)进行雷达数据增强,实现深度卷积神经网络(DCNN)在样本数量较少时可以得到有效训练。首先对人体各种动作的线性调频连续波雷达回波数据进行预处理得到微多普勒时频谱图像,然后采用WGAN-GP进行时频谱图像数据增强,最后利用生成的图像对DCNN进行训练。实验结果表明使用WGAN-GP可以有效解决雷达数据不足的问题,从而提高DCNN人体动作识别准确率。     

基于行为模式树的人体动作识别

本文选用3D卷积神经网络提取特征,并提出了一种基于数据挖掘的模型——行为模式树(Action Pattern Tree,APTree),通过分析动作模式,并对动作分类进行二次概率估计来获得更高的识别率。该模型充分考虑到视频中动作的时序性,能够对一段动作进行时间和空间上的建模。行为模式树基于数据挖掘,用于视频的动作识别,简单、紧凑而又高效。本文在UCF101数据集上进行实验并取得了87.13%的准确率,证明了行为模式树的有效性。     

基于人体语义分割的FMS动作测量

在分析功能性动作筛查(Functional Movement Screens,FMS)相关动作测量需求与人体语义分割技术现状的基础上,提出基于深度学习语义分割技术实现FMS自动测量的技术方案,并通过实验验证了技术的可行性.     

基于多任务学习的人体动作识别

为了准确识别现实场景下的人体动作,提出了基于多任务学习的人体动作识别方法。首先,对数据进行局部显著点的检测和特征描述。然后,利用K均值算法对所提特征进行聚类构建词袋模型。最后,利用任务之间的关系,实现现实场景下的人体动作识别。比较实验说明所提出方法能够较好的识别现实场景下的人体动作,并对数据背景、光照条件等外因具有较强的鲁棒性。     

基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。      

基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。     

Human Action Recognition Based on 3D Human Modeling and Cyclic HMMs

Human action recognition is used in areas such as surveillance, entertainment, and healthcare. This paper proposes a system to recognize both single and continuous human actions from monocular video sequences, based on 3D human modeling and cyclic hidden Markov models (CHMMs). First, for each frame in a monocular video sequence, the 3D coordinates of joints belonging to a human object, through actions of multiple cycles, are extracted using 3D human modeling techniques. The 3D coordinates are then converted into a set of geometrical relational features (GRFs) for dimensionality reduction and discrimination increase. For further dimensionality reduction, k‐means clustering is applied to the GRFs to generate clustered feature vectors. These vectors are used to train CHMMs separately for different types of actions, based on the Baum–Welch re‐estimation algorithm. For recognition of continuous actions that are concatenated from several distinct types of actions, a designed graphical model is used to systematically concatenate different separately trained CHMMs. The experimental results show the effective performance of our proposed system in both single and continuous action recognition problems.     

Action Status Based Novel Relative Feature Representations for Interaction Recognition

Skeleton-based action recognition has al-ways been an important research topic in computer vis-ion.Most of the researchers in this field currently pay more atte...     

改进通道注意力机制下的人体行为识别网络

针对现有通道注意力机制对各通道信息直接全局平均池化而忽略其局部空间信息的问题,该文结合人体行为识别研究提出了两种改进通道注意力模块,即矩阵操作的时空(ST)交互模块和深度可分离卷积(DS)模块。ST模块通过卷积和维度转换操作提取各通道时空加权信息数列,经卷积得到各通道的注意权重;DS模块首先利用深度可分离卷积获取各通道局部空间信息,然后压缩通道尺寸使其具有全局的感受野,接着通过卷积操作得到各通道注意权重,进而完成通道注意力机制下的特征重标定。将改进后的注意力模块插入基础网络并在常见的人体行为识别数据集UCF101和HDBM51上进行实验分析,实现了准确率的提升。     

基于计算机视觉的人体异常行为识别综述

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支,人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测,再到当前随着神经网络的新发展,深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点,基于该波段的人体行为识别研究开始兴起,它也必将成为人体行为识别领域中一个新的研究热点。