结合时序动态图和双流卷积网络的人体行为识别

为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法.首先,利用双向顺序池化算法来构建时序动态图,实现视频从三维空间到二维空间的映射,用来提取动作的表观和长时时序信息;然后提出了基于inceptionV3的双流卷积网络,包含表观及长时运动流和短时运动流,分别以时序动态图和...     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

基于人体关节点的行为识别算法研究

针对目前大多数行为识别算法可识别动作单一且复杂背景下准确性较低的问题,提出一种基于关节点的行为识别方法,首先,使用多目标跟踪模型FairMot将视频中的人体用矩形框标记,然后再使用姿态估计模型AlphaPose模型估计视频中人物的骨骼关节点位置,同时将人物关节点数据进行组合,使其能够代表动作特征,最后,利用长短期记忆网络将组合出的动作特征序列作为输入进行识别,最终输出为某一具体动作。实验结果表明,直接对人物关节点进行动作识别,去除了背景等干扰,识别的准确率达到了91.73%,实现了特定场景下的行为识别。     

基于改进卷积神经网络的羊行为识别

本文根据羊不同行为的特征,提出一种基于改进卷积神经网络的羊行为识别方法。构建卷积核尺寸全部为3×3的卷积神经网络(Convolutional Neural Networks, CNN);使用缩放指数线性单元(scaled exponential linear units,SeLU)为激活函数,使网络具有自归一化功能;以最大池化(max pooling)为下采样;在全连接层中采用丢弃(Alpha dropout)操作提高网络泛化能力,使用余弦退火动态学习率进行动态微调;进一步使用softmax分类器作为网络输出,最终构建出羊行为识别网络模型。实验结果表明：本文方法对羊进食行为识别准确率达到90.30%,站立行为识别准确率达到94.16%。坐卧行为识别准确率能达到91.90%。该模型能够实现羊不同行为的监测,且有较高的准确性,有助于提高畜牧管理效率和养殖智能化水平。     

基于卷积神经网络的视频行为识别技术应用

为提高视频行为识别技术在实际应用中性能,本研究基于卷积神经网络算法,对视频行为识别进行了深入研究分析。通过引入多层卷积、池化操作及结合注意力机制和多模态融合等技术手段,设计了基于卷积神经网络的视频行为识别模型,并通过损失函数与算法选择、模型优化与改进来完善模型视频行为识别能力。通过在MATLAB仿真软件中进行实验测试,结果表明,本视频行为识别模型在各项指标上表现出了良好性能与鲁棒性,具有较强的应用价值。研究结果可为视频行为识别领域研究带来新进展。     

基于深度学习的视频异常行为识别算法

针对传统的异常行为检测算法仅使用RGB图像作为网络的输入,而未考虑到视频序列中隐藏运动信息的问题,文中提出一种基于双流卷积神经网络的视频异常行为检测算法。该算法分别使用RGB图像与视频帧间的光流信息作为两个网络分支的输入来学习空间维信息与时间维信息,并使用长短时神经网络来建模长时视频帧间的依赖关系,从而得到最终的行为分类结果。仿真测试结果表明,所提出的方法在UCSD Ped1、Shanghai Tech和Pedestrian 2数据集上均能取得较好的识别效果,且使用帧间运动信息能够显著提升异常行为检测性能。     

基于分离卷积的战场目标聚集行为识别

针对大部分行为识别算法效率较低,难以应对大规模影像识别任务的问题,一方面,提出一种结合双流结构与多纤维网络的双流多纤维网络模型,分别以RGB序列、光流序列为输入提取视频的时空信息,然后将两条支路网络的识别结果进行决策相加,提高了对战场目标聚集行为的检测效率与识别准确率;另一方面,提出一种结合分离卷积思想与多纤维网络的双流分离卷积多纤维网络模型,进一步提高网络检测效率与抗过拟合能力。实验表明,在建立的情报影像仿真数据集中,上述算法能够有效识别出战场目标聚集行为,在大幅提升检测效率同时实现了识别准确率的提升。     

基于双流独立循环神经网络的人体动作识别

针对RGB视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出基于双流独立循环神经网络人体动作识别算法。在提取特征方面,时间网络采用分层IndRNN对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的IndRNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用softmax对动作进行分类。在3D骨架动作数据集(NTU RGB+D)以及交互数据集(SBU Interaction Dataset)上验证了模型的有效性。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一...     

基于计算机视觉的人体异常行为识别综述

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支,人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测,再到当前随着神经网络的新发展,深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点,基于该波段的人体行为识别研究开始兴起,它也必将成为人体行为识别领域中一个新的研究热点。     

基于改进双流网络的时空定位检测算法

针对目前多数的行为识别算法都是视频分类和时序定位的问题.通过对双流网络结构进行改进,构建出一种3D单阶段的时空定位双流网络,实现对视频中人的行为进行分类,同时可以实时地对人在视频中位置进行准确定位.为了验证效果的有效性,通过使用Kinect2.0摄像头采集训练的视频数据集,并使用不同的网络进行对比,最终得出基于改进的双...     

基于深度学习的行为异常检测

行为异常识别与检测在安防领域中发挥着重要的作用,但针对传统特征提取的方法,提取特征智能化低且准确率不高,本文采用一种3D卷积神经网络中融合LSTM神经网络的模型,进行行为特征提取以及分类.利用公开的数据集进行实验测试,实验结果表示,该融合模型有效提高了分类准确识别率.     

基于深度学习的人体行为识别技术

针对计算机视觉中基础性的视频人体行为识别的问题,从基于3D卷积的方法、基于双流网络的方法和基于循环神经网络的方法三类主流方法入手,对三类方法分别进行了阐述.三类方法的核心思想都是挖掘视频所固有的时空特征,区别在于特征挖掘所使用算法的不同,详细分析了每一种方法在处理视频的时空特征时的优缺点,并且在每一类中选取若干主流方法...