基于人体关节点的行为识别算法研究

针对目前大多数行为识别算法可识别动作单一且复杂背景下准确性较低的问题,提出一种基于关节点的行为识别方法,首先,使用多目标跟踪模型FairMot将视频中的人体用矩形框标记,然后再使用姿态估计模型AlphaPose模型估计视频中人物的骨骼关节点位置,同时将人物关节点数据进行组合,使其能够代表动作特征,最后,利用长短期记忆网络将组合出的动作特征序列作为输入进行识别,最终输出为某一具体动作。实验结果表明,直接对人物关节点进行动作识别,去除了背景等干扰,识别的准确率达到了91.73%,实现了特定场景下的行为识别。     

基于三维卷积与双向LSTM的行为识别研究

准确识别视频中的内容是未来互联网应用发展的方向,视频中的行为识别是计算机视觉领域的研究重点。为充分利用视频中的信息,提高行为识别的准确程度,文中提出一种基于三维卷积与双向LSTM的行为识别算法。设计一种基于三维卷积的空间注意模块,可以关注空间区域的显著特征。为了更好地处理长时间视频,引入一种新的基于双向LSTM(长短时记忆网络)的时间注意模块,其目的在于关注关键视频而不是给定视频的关键视频帧,然后采用双中心loss(计算损失函数)优化网络对两阶段策略联合训练,使其能够同时探索空间和时间域的相关性。在HMDB-51和UCF-101数据集上测试证明,所提算法能够准确识别视频中的相似动作,行为识别的准确率得到提高,识别效果显著。     

基于通道注意力机制的视频人体行为识别

本文针对人体行为识别模型中鉴别能力有限的问题,同时避免双流中计算光流的较大时间成本,提出基于通道注意力机制和三维卷积时空注意力模型的行为识别方法。首先,该卷积网络模型使用ResNeXt残差模块,利用三维卷积核有效地提取视频帧时空特征。然后,在此基础上给每个残差模块增加通道注意力机制学习不同特征图的权重,进而形成基于通道域的注意力权重,增强网络结构对人体行为的表征能力。最后,在UCF-101和HMDB-51数据集上,通过交叉熵损失函数训练不同网络深度的行为分类模型。实验结果表明,该模型可以有效提取视频中的时空特征,并在人体行为识别任务中有着较高效率和优秀的准确度。     

基于Conv-Involution的红外视频小样本人体行为识别方法北大核心CSCD

红外视频存在颜色信息缺失较为严重、识别区域易与背景混淆等现象,使得现有小样本特征提取网络常常关注无效信息,导致识别精度较低。针对此问题,本文提出一种基于内卷积(Conv-Involution)算子的红外视频小样本人体行为识别方法。首先,通过InstColorization方法恢复红外视频中的颜色信息;其次,基于空间和通道特异性设计Conv-Involution算子,并利用该算子和改进注意力机制设计特征提取网络,分离背景,更有效地关注行为发生区域;最后,结合小样本学习方法ANIL进行人体行为分类。对比实验结果表明,本文所提方法不但识别精度最高,而且具有出色的稳定性。     

改进通道注意力机制下的人体行为识别网络

针对现有通道注意力机制对各通道信息直接全局平均池化而忽略其局部空间信息的问题,该文结合人体行为识别研究提出了两种改进通道注意力模块,即矩阵操作的时空(ST)交互模块和深度可分离卷积(DS)模块。ST模块通过卷积和维度转换操作提取各通道时空加权信息数列,经卷积得到各通道的注意权重;DS模块首先利用深度可分离卷积获取各通道局部空间信息,然后压缩通道尺寸使其具有全局的感受野,接着通过卷积操作得到各通道注意权重,进而完成通道注意力机制下的特征重标定。将改进后的注意力模块插入基础网络并在常见的人体行为识别数据集UCF101和HDBM51上进行实验分析,实现了准确率的提升。     

基于双线性RepVGG注意力网络的花卉分类

为进一步提高花卉分类的准确率,在对双线性卷积神经网络、RepVGG及注意力机制进行研究的基础上,提出一种基于双线性RepVGG注意力机制的网络模型。首先利用RepVGG网络替换原始的特征提取网络VGG,以提高对花卉主要特征的提取能力;然后在两个RepVGG网络中分别引入通道注意力及空间注意力机制,并利用两个RepVGG网络外积后生成的高维双线性特征,来提取花卉的细粒度特征;最后通过结构重参数化,将RepVGG的各层转换为单路结构,以提高模型推理的速度。实验结果表明,在增强的Oxford-102数据集上,新模型与原始模型及常见模型相比,其推理速度及分类准确率均有较大的提升,与未引入注意力前相比,分类准确率也有一定的提升。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

融入部分卷积和解耦全连接注意力的轻量级人体姿态估计

轻量级人体姿态估计网络使得网络的参数量和计算量大大减少,使其能够在计算资源有限的设备上进行快速推理。如何在保持模型轻量化的同时提高人体姿态识别网络的性能是当前重要的研究课题。文章基于Dite-HRNet,提出融入部分卷积和解耦全连接注意力机制的LPFANet网络,将部分卷积与动态分离卷积相结合,构建了一个强化特征提取结构,同时使用了全局特征建模和密集特征建模进行特征再提取。在MPII数据集上测试,实验表明,与DiteHRNet相比,LPFANet在少量增加参数量和计算量的情况下,平均准确率提升了1.2%。文章网络在轻量化的同时有效提升了识别精确度。     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

3D多支路聚合轻量网络视频行为识别算法研究

为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出3D多支路聚合轻量网络行为识别算法.首先,利用分组卷积将神经网络分割成多个支路;其次,为促进支路间信息流动,加入具有信息聚合功能的多路复用模块;最后,引入自适应注意力机制,对通道与时空信息进行重定向.实验表明,本算法在UCF101数据集上的计算成本为11.5GFlops,准确率为96.2%;在HMDB51数据集上的计算成本为11.5GFlops,准确率为74.7%.与其他行为识别算法相比,提高了视频识别网络的效率,体现出一定识别速度和准确率优势.     

融入注意力机制的视频多尺度时序融合行为识别模型

视频行为识别算法在特征提取过程中,存在未聚焦视频图像显著区域信息的问题,使模型分类效果不理想。为了提高网络区别关注的能力,提出融入注意力机制的视频多尺度时序行为识别算法模型。在视频长-短时序网络中分别融入通道-空间注意力和通道注意力模块,引入注意力机制使网络在训练过程中重新分配权重,捕捉视频内容与位置兴趣点,提高网络的表达能力。在Something-somethingV1和Jester数据集上的实验结果表明,融入轻量注意力模块的视频多尺度时序融合行为识别网络的性能得到有效提升,与其他行为识别网络相比体现出一定的优势。      

Human skeleton representation for 3D action recognition based on complex network coding and LSTM

3D skeleton sequences contain more effective and discriminative information than RGB video and are more suitable for human action recognition. Accurate extraction of human skeleton information is the key to the high accuracy of action recognition. Considering the correlation between joint points, in this work, we first propose a skeleton feature extraction method based on complex network. The relationship between human skeleton points in each frame is coded as a network. The changes of action over time are described by a time series network composed of skeleton points. Network topology attributes are used as feature vectors, complex network coding and LSTM are combined to recognize human actions. The method was verified on the NTU RGB + D60, MSR Action3D and UTKinect-Action3D dataset, and have achieved good performance, respectively. It shows that the method of extracting skeleton features based on complex network can properly identify different actions. This method that considers the temporal information and the relationship between skeletons at the same time plays an important role in the accurate recognition of human actions.     

引入高阶注意力机制的人体行为识别

现有的视频行为识别方法在特征提取过程中,存在忽略各个特征之间相互作用关系的问题,对近似动作的区分效果不理想。因此,提出引入高阶注意力机制的人体行为识别方法。在深度卷积神经网络中引入高阶注意力模块,通过注意力机制建模和利用复杂和高阶的统计信息,对训练过程中特征图各个部分的权重进行重新分配,从而关注局部细粒度信息,产生有区别性的关注建议,捕获行为之间的细微差异。在UCF101和HMDB51这两个人体行为数据集上的实验结果表明,与现有方法相比,识别率得到了一定的提升,验证了所提出方法的有效性和鲁棒性,提高了对近似行为的辨别能力。      

Diverse Features Fusion Network for video-based action recognition

The two-stream convolutional network has been proved to be one milestone in the study of video-based action recognition. Lots of recent works modify internal structure of two-stream convolutional network directly and put top-level features into a 2D/3D convolution fusion module or a simpler one. However, these fusion methods cannot fully utilize features and the way fusing only top-level features lacks rich vital details. To tackle these issues, a novel network called Diverse Features Fusion Network (DFFN) is proposed. The fusion stream of DFFN contains two types of uniquely designed modules, the diverse compact bilinear fusion (DCBF) module and the channel-spatial attention (CSA) module, to distill and refine diverse compact spatiotemporal features. The DCBF modules use the diverse compact bilinear algorithm to fuse features extracted from multiple layers of the base network that are called diverse features in this paper. Further, the CSA module leverages channel attention and multi-size spatial attention to boost key information as well as restraining the noise of fusion features. We evaluate our three-stream network DFFN on three public challenging video action benchmarks: UCF101, HMDB51 and Something-Something V1. Experiment results indicate that our method achieves state-of-the-art performance.     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。