结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。     

基于时序时空双流卷积的异常行为识别

针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆（LSTM）网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7%,融合后的模型准确率提高了12.9%。实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果。     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

基于深度学习的人体行为识别技术

针对计算机视觉中基础性的视频人体行为识别的问题,从基于3D卷积的方法、基于双流网络的方法和基于循环神经网络的方法三类主流方法入手,对三类方法分别进行了阐述.三类方法的核心思想都是挖掘视频所固有的时空特征,区别在于特征挖掘所使用算法的不同,详细分析了每一种方法在处理视频的时空特征时的优缺点,并且在每一类中选取若干主流方法...     

基于深度时序卷积网络的功率放大器行为建模方法

功率放大器作为辐射源发射机的核心部件,其工作行为具有高非线性、强记忆性等特点,导致功率放大器的行为建模难度颇高。针对该问题,文中提出了一种基于深度时序卷积网络的功率放大器行为建模方法。该方法采用的神经网络模型由多个多维时序卷积块构成,每个时序卷积块由数个用于增加网络感受野的因果膨胀卷积以及用于提高梯度反馈效率的残差结构组成。模型通过并行卷积操作,克服了传统卷积网络无法处理可变长序列的弊端,在保留功率放大器记忆特性的同时,提高了行为建模的效率。针对实测数据的行为建模结果表明,相比于现有的Volterra级数以及循环神经网络建模方法,文中提出的方法可显著提升行为建模精度,且在行为建模效率方面,相较于循环神经网络建模方法,将实现时间降低了一个数量级。     

改进的R-C3D时序行为检测网络

为了提高时序行为检测网络的分类精度和时序上的定位精度,本文提出了一种改进的区域3D卷积神经网络(Region Convolutional 3D Network,R-C3D).在时序候选子网中,通过逐层空间卷积把特征图的高宽由(H/16,W/16)变为(1,1),提高行为的分类精度,通过卷积-反卷积网络(Convolut...     

基于全局金字塔和注意力机制的双流网络结构

人体行为识别是计算机视觉中最具吸引力和实践性的研究领域之一,近年来,双流卷积神经网络因其可以同时捕获行为的空间信息和运动信息来进行人体行为的识别而越发的流行。然而,现有的基于双流卷积神经网络的行为识别方法的卷积方式无法全面的捕获相邻光流帧之间的运动信息和边缘的表观信息。为了解决这一问题,提出了一种利用全局特征金字塔和空间注意模块的来识别人类行为的双流网络结构。首先,在时间流提出了一个主要由卷积编码器和全局多头自注意（global multi-head self attention,GMSA）机制组成的全局特征金字塔结构.较小的卷积核在早期阶段捕获低维度特性,而较大的卷积核在卷积编码器后捕获其高维特性。而全局多头注意力则捕获全局的运动信息。其次,设计了一个空间注意模块。通过使用平均池化操作来聚合特征映射的空间信息来生成一维映射来表示空间上的平均合并特征,然后经过3*3的卷积核进行卷积来对RGB图像的边缘表观信息进行提取。最后,利用长短期记忆（long short-term memory, LSTM）来提取密集光流中的时间序列信息。在数据集UCF101、HMDB51上进行实验,实验表明,与...     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

Face Image Recognition Based on Convolutional Neural Network

With the continuous progress of The Times and the development of technology,the rise of network social media has also brought the“explosive”growth of image data.As one of the main ways of People’s Daily communication,image is widely used as a carrier of communication because of its rich content,intuitive and other advantages.Image recognition based on convolution neural network is the first application in the field of image recognition.A series of algorithm operations such as image eigenvalue extraction,recognition and convolution are used to identify and analyze different images.The rapid development of artificial intelligence makes machine learning more and more important in its research field.Use algorithms to learn each piece of data and predict the outcome.This has become an important key to open the door of artificial intelligence.In machine vision,image recognition is the foundation,but how to associate the low-level information in the image with the high-level image semantics becomes the key problem of image recognition.Predecessors have provided many model algorithms,which have laid a solid foundation for the development of artificial intelligence and image recognition.The multi-level information fusion model based on the VGG16 model is an improvement on the fully connected neural network.Different from full connection network,convolutional neural network does not use full connection method in each layer of neurons of neural network,but USES some nodes for connection.Although this method reduces the computation time,due to the fact that the convolutional neural network model will lose some useful feature information in the process of propagation and calculation,this paper improves the model to be a multi-level information fusion of the convolution calculation method,and further recovers the discarded feature information,so as to improve the recognition rate of the image.VGG divides the network into five groups(mimicking the five layers of AlexNet),yet it USES 3*3 filters and combines them as a convolution sequence.Network deeper DCNN,channel number is bigger.The recognition rate of the model was verified by 0RL Face Database,BioID Face Database and CASIA Face Image Database.     

基于多任务卷积神经网络的人脸识别技术研究

深度神经网络是目前计算机机器学习领域的一个关键技术,可应用于图像处理。其中,多任务卷积神经网络(Multi-task Convolutional Neural Network,MTCNN)是一种基于卷积神经网络的多任务人脸检测框架,这里采用MTCNN人脸检测模型代替传统的卷积神经网络,在深度学习框架TensorFlow上进行人脸识别。首先,在数据预处理阶段利用灰度化方法将图像集转变为灰度图,降低图像通道。其次,基于MTCNN构建人脸检测模型,并利用Softmax函数进行分类识别。最后,实验过程中选择不同迭代次数进行准确性对比,在模型趋于稳定的情况下,得到较高的准确性。     

基于深度卷积神经网络的遥感图像飞机目标检测方法

飞机检测是遥感图像分析领域的研究热点,现有检测方法的检测流程分为多步,难以进行整体优化,并且对于飞机密集区域或背景复杂区域的检测精度较低。针对以上问题,该文提出一种端到端的检测方法MDSSD来提高检测精度。该方法基于单一网络目标多尺度检测框架(SSD),以一个密集连接卷积网络(DenseNet)作为基础网络提取特征,后面连接一个由多个卷积层构成的子网络对目标进行检测和定位。该方法融合了多层次特征信息,同时设计了一系列不同长宽比的候选框,以实现不同尺度飞机的检测。该文的检测方法完全摒弃了候选框提取阶段,将所有检测流程整合在一个网络中,更加简洁有效。实验结果表明,在多种复杂场景的遥感图像中,该方法能够达到较高的检测精度。     

基于多任务学习的人体动作识别

为了准确识别现实场景下的人体动作,提出了基于多任务学习的人体动作识别方法。首先,对数据进行局部显著点的检测和特征描述。然后,利用K均值算法对所提特征进行聚类构建词袋模型。最后,利用任务之间的关系,实现现实场景下的人体动作识别。比较实验说明所提出方法能够较好的识别现实场景下的人体动作,并对数据背景、光照条件等外因具有较强的鲁棒性。     

基于深度学习的视频中人体动作识别进展综述

视频中的人体动作识别是计算机视觉领域内一个充满挑战的课题.不论是在视频信息检索、日常生活安全、公共视频监控,还是人机交互、科学认知等领域都有广泛的应用.本文首先简单介绍了动作识别的研究背景、意义及其难点,接着从模型输入信号的类型和数量、是否结合了传统特征提取方法、模型预训练三个维度详细综述了基于深度学习的动作识别方法,及比较分析了它们在UCF101和HMDB51这两个数据集上的识别效果.最后分别从视频预处理、视频中人体运动信息表征、模型学习训练这三个角度对未来动作识别可能的发展方向进行了论述.     

基于卷积网络通道注意力的人脸表情识别

针对目前人脸表情识别(Facial Expression Recognition, FER)方法准确率低、模型大和识别时间长的问题,提出了一种基于卷积神经网络的通道注意力FER算法,在普通的卷积层中加入Xception网络中的可分离卷积网络,减少参数量和运算成本。在可分离卷积层的输出加入通道注意力Senet,实现对输出通道的权值按重要程度进行重新分配。引入Resnet网络中残差机制,减轻梯度消失现象。对设计的模型分别在CK+,RAF-DB数据集和FER2013数据集进行训练。实验结果显示,在CK+,RAF-DB数据集和FER2013数据集准确率分别提高至99.45%,78.10%和62.65%。模型参数量仅有1.8 MB,识别时间1.24 s。实现了更准、更快、更轻的FER。     

基于卷积神经网络迁移学习的飞机目标识别

飞机目标识别是地面情报系统的一项重要关键技术。近年来火热的深度学习方法,如卷积神经网络,展现出对于图像识别任务的优越性能。但是,训练卷积神经网络需要大量的带标签样本以估计规模庞大的模型参数,因而限制了其在雷达目标识别领域中的应用。针对飞机目标识别中的小样本问题,文中引入适用于有限数据场景的迁移学习技术,预先在其他大样本高分辨距离像数据上训练一个初始卷积神经网络模型,再结合当前飞机目标识别任务调优模型参数。在实测数据上的实验结果显示,与仅使用卷积神经网络的方法相比,所提方法可显著提升识别准确率,验证了方法的有效性。     

基于计算机视觉的人体异常行为识别综述

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支,人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测,再到当前随着神经网络的新发展,深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点,基于该波段的人体行为识别研究开始兴起,它也必将成为人体行为识别领域中一个新的研究热点。     

共享型轻量级卷积神经网络实现车辆外观识别

提出一种共享型轻量级卷积神经网络(CNN),用于自动识别车辆颜色和型号.基础网络采用改进的SqueezeNet,在训练集上比较具有不同"瘦身"程度的SqueezeNet的分类性能.讨论完全共享型网络、部分共享型网络及无共享型网络的特征.实验结果表明,完全共享型轻量级CNN在减少参数量的同时实现了对车辆外观多属性的高精度...     

通道门控Res2Net卷积神经网络自动调制识别

针对低信噪比条件下自动调制识别准确率不高的问题,提出了通道门控Res2Net卷积神经网络自动调制识别模型。该模型主要由二维卷积神经(Two-dimensional Convolutional Neural Network, 2D-CNN)网络、多尺度残差网络(Residual 2-network, Res2Net)、压缩与激励网络(Squeeze-and-Excitation Network, SENet)和长短期记忆(Long Short-Term Memory, LSTM)网络组成,通过卷积从原始I/Q数据中提取多尺度特征,结合门控机制对特征通道进行权重调整,并利用LSTM对卷积所得特征进行序列建模,确保数据特征被有效挖掘,从而提升自动调制识别的准确率。在基准数据集RML2016.10a下的调制识别实验表明,所提模型在信噪比为12 dB时识别精度为92.68%,在信噪比2 dB以上时平均识别精度大于91%,较经典CLDNN模型、LSTM模型和同类型PET-CGDNN模型、CGDNet模型能取得更高的调制类型识别准确率。