基于深度卷积神经网络的面部表情识别研究

本研究为了解决传统面部表情识别模型准确率较低的问题，基于深度卷积神经网络（Deep Convolutional Neural Network,DCNN）提出一种新的改进神经网络模型，与传统模型相对比，本模型将其核心的卷积层替换成了深度可分离卷积层，同时搭配卷积残差块的使用，使网络能够有效减少参数的情况下，能够提取多尺度上的特征信息，从而有效地保留了细节特征。最后通过仿真对比，证明本研究提出的DCNN网络具有突出的性能特点，适合用于面部表情识别任务。     

基于VGG16网络的人脸情绪识别

近年来,如何通过人工智能对人的面部表情进行识别分析成为一个研究热点,利用人工智能可以快速地分析人的面部情绪,并以此为基础进行进一步研究.在深度学习中,传统的卷积神经网络存在对面部表情特征的提取不充分以及计算机参数量较大的问题,导致分类准确率较低.因此,提出了基于VGG16网络的人脸表情识别算法,通过与Inception...     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

结合卷积神经网络与OpenCV的人脸表情识别

针对实时人脸表情识别模型训练慢、识别速度慢的问题,提出一种OpenCV和卷积神经网络结合进行实时表情识别的方法。人脸表情是多个局部区域特征的集合,而卷积神经网络提取出的特征能更多地关注局部,因此采取卷积神经网络的方式进行模型的训练。所提网络在全连接层中加入了Dropout,能有效预防过拟合现象的发生,并且提升模型泛化能力。实验结果表明此模型的可行性,在fer2013数据集上的准确率达到71.6%。基于以上方法再结合OpenCV构建一个实时表情识别系统,系统实时识别表情的速度为0.4s。所构建的系统相比于现有的其他系统,具有训练速度较快、准确率较高、识别速度较快等优点。     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络（CNN）中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别（DFER）的混合注意力机制模型（HA-Model）,以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成：空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块（CBAM）的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于人脸关键特征提取的表情识别

自然场景下人脸表情由于受遮挡、光照等因素影响,以及表情局部变化细微,导致现有人脸表情识别方法准确率较低。提出一种人脸表情识别的新方法,以ResNet18为主干网络,利用残差连接模块加深网络结构,以提取更多深层次的表情特征。通过引入裁剪掩码模块,在训练集图像上的某个区域进行掩码,向训练模型中增加遮挡等非线性因素,提升模型在遮挡情形下的鲁棒性。分别从特征图的通道和空间两个维度提取表情的关键特征,并分配更多的权重给表情变化明显的特征图,同时抑制非表情特征。在特征图输出前加入Dropout正则化策略,通过在训练中随机失活部分神经元,达到集成多个网络模型的训练效果,提升模型泛化能力。实验结果表明,与L2-SVMs、IcRL、DLP-CNN等方法相比,该方法有效提高了表情识别准确率,在2个公开表情数据集Fer2013和RAF-DB上的识别准确率分别为74.366%和86.115%。     

基于深度残差网络和注意力机制的人脸检测算法

人脸检测技术作为一种人员身份识别的主流技术被广泛应用于人们的日常生活中。然而在特定应用场景中,当人脸被遮挡或人脸目标非常密集时,人脸识别的检测性能急剧下降。提出一种基于深度残差网络和注意力机制的高精度人脸检测算法。使用残差网络ResNet-50并结合IoU损失函数提高人脸检测精度,并利用注意力机制优化突出脸部区域特征,在此基础上采用非极大值抑制方法增强算法鲁棒性。在公开FDDB数据集上的实验结果表明,该算法的准确率达到96.1%相比传统卷积网络VGG-16算法提高1.6个百分点。     

Masked Face Recognition Using MobileNet V2 with Transfer Learning

Corona virus (COVID-19) is once in a life time calamity that has resulted in thousands of deaths and security concerns. People are using face masks on a regular basis to protect themselves and to help reduce corona virus transmission. During the on-going coronavirus outbreak, one of the major priorities for researchers is to discover effective solution. As important parts of the face are obscured, face identification and verification becomes exceedingly difficult. The suggested method is a transfer learning using MobileNet V2 based technology that uses deep feature such as feature extraction and deep learning model, to identify the problem of face masked identification. In the first stage, we are applying face mask detector to identify the face mask. Then, the proposed approach is applying to the datasets from Canadian Institute for Advanced Research10 (CIFAR10), Modified National Institute of Standards and Technology Database (MNIST), Real World Masked Face Recognition Database (RMFRD), and Stimulated Masked Face Recognition Database (SMFRD). The proposed model is achieving recognition accuracy 99.82% with proposed dataset. This article employs the four pre-programmed models VGG16, VGG19, ResNet50 and ResNet101. To extract the deep features of faces with VGG16 is achieving 99.30% accuracy, VGG19 is achieving 99.54% accuracy, ResNet50 is achieving 78.70% accuracy and ResNet101 is achieving 98.64% accuracy with own dataset. The comparative analysis shows, that our proposed model performs better result in all four previous existing models. The fundamental contribution of this study is to monitor with face mask and without face mask to decreases the pace of corona virus and to detect persons using wearing face masks.     

一种端到端的人脸对齐方法

现有的人脸对齐方法多数是非端到端的,中间过程需要大量的人工干预,导致人脸关键点检测的稳定性较差。为此,提出一种端到端的基于深度学习的人脸对齐方法。基于MobileNets系列网络的子模块,使用类VGG结构的方式进行搭建,将整张图片作为输入,采用基于深度可分离卷积模块进行特征提取,并运用改进的倒残差结构避免网络训练过程的梯度消失,减少特征损失。在此基础上将眼间距离作为正规化方法,在300W人脸数据集上进行测试,结果表明,与CDM、DRMF等方法相比,该方法在保证较优精度的同时,具有良好的实时性。     

基于改进VGG16的超短波时频谱图分类方法

现代战场电磁环境日益复杂，战术通信网台主要集中在超短波频段。而未来的技术侦察对智能化、大数据处理的支撑需求越来越强烈。为实现超短波盲信号的分类，提出了一种将盲信号的时频谱图与优化后VGG16网络相结合的分类方法。该方法首先将电磁战场中实际采集到的超短波盲信号转换为时频谱图，然后通过迁移学习将其与优化后的VGG16卷积神经网络结合起来，并将空洞卷积引入网络，完成了对超短波盲信号的分类。实验结果表明，优化后的VGG16网络比原网络有更高的准确率，达到了93.1%。当将空洞卷积引入到优化后的VGG16网络的第7层和第10层时，识别率达到最高为92.2%，学习时间减少了34.1%，大大减少了模型的训练时长，验证了空洞卷积在超短波盲信号分类识别上的有效性。     

基于局部流形注意力的人脸表情识别

人脸表情识别在各种人机交互场景中有广泛的应用, 但在表情模糊或存在遮挡情况下, 现有的表情识别方法效果并不理想. 针对表情模糊和遮挡问题, 本文提出了一种基于局部流形注意力(SPD-Attention)的网络架构, 利用流形学习得到具有更强描述能力的二阶统计信息以加强对表情细节特征的学习, 抑制遮挡区域无关特征对网络的影响. 同时, 针对流形学习过程中由于对数计算导致的梯度消失和爆炸, 本文提出了相应的正则约束加速网络收敛. 本文在公开表情识别数据集上测试了算法效果, 与VGG等经典方法相比取得了显著提升, 在AffectNet、CK+、FER2013、FER2013plus、RAF-DB、SFEW上正确率分别为: 57.10%、99.01%、69.51%、87.90%、86.63%、49.18%, 并在模糊、遮挡表情数据集上相比于Covariance Pooling等目前先进方法提升了1.85%.     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

融合CNN与交互特征的多标签图像分类方法

图像在日常生活中广泛存在,图像分类具有重要的现实意义。针对当前多标签图像分类中因神经网络模型复杂以及提取到的图像特征信息不足而导致分类准确率较低、计算复杂度高等问题,提出一种融合卷积神经网络与交互特征的多标签分类方法,即MLCNN-IF模型。MLCNN-IF模型主要分成2步,首先参考传统CNN基本结构搭建一个仅有9层的轻量级神经网络（MLCNN）,用于处理图像数据并提取特征;其次基于MLCNN提取的特征,通过交互特征方法产生各独立特征的组合特征,以此获得新的更丰富的特征集。实验结果表明,MLCNN-IF模型对比AlexNet、GoogLeNet和VGG16在4种多标签图像数据集上取得了更好的分类结果,其准确率和精准率分别平均提高9%和4.8%;同时MLCNN网络结构相对更简洁,有效降低了模型参数量和时间复杂度。     

融合HOG特征和注意力模型的孪生目标跟踪算法

为了提高跟踪算法在目标发生形变和被遮挡时的准确性,提出一种融合HOG(histogram of oriented gradient)特征和注意力模型的孪生目标跟踪算法.首先,采用对ResNet残差模型改进后的CIR(cropping inside residual)模型塑造孪生目标跟踪网络的骨干网络,充分利用不同层次的特征图,同时加深网络;其次,融入HOG特征,增强网络对图形几何变化的鲁棒性;再次,加入CBAM(convolutional block attention module)注意力模型,使网络能够在结合上下文信息的同时调节HOG特征在特征图中所占比例,增强特征图中的有效特征,弱化无效特征,使网络中各特征图发挥出最好的效果;最后,定义算法的损失函数.实验结果表明,所提算法在GOT-10k数据集上进行训练后,能够在OTB100上获得较好的跟踪效果,在该数据集中精确率和成功率分别达到81.9%和60.6%.在目标物体发生形变和被遮挡的情况下,所提算法仍能取得较好的跟踪效果.     

基于迁移学习的并行卷积神经网络牦牛脸识别算法

为了在牦牛养殖过程中对牦牛实现精确管理,需要对牦牛的身份进行识别,而牦牛脸识别是一种可行的牦牛身份识别方式。然而已有的基于神经网络的牦牛脸识别算法中存在牦牛脸数据集特征多、神经网络训练时间长的问题,因此,借鉴迁移学习的方法并结合视觉几何组网络（VGG）和卷积神经网络（CNN）,提出了一种并行CNN（Parallel-CNN）算法用来识别牦牛的面部信息。首先,利用已有的VGG16网络对牦牛脸图像数据进行迁移学习以及初次提取牦牛的面部信息特征;然后,将提取到的不同层次的特征进行维度变换并输入到Parallel-CNN中进行二次特征提取;最后,利用两个分离的全连接层对牦牛脸图像进行分类。实验结果表明：Parallel-CNN能够对不同角度、光照和姿态的牦牛脸进行识别,在含有300头牦牛的90 000张牦牛脸图像的测试数据集上,所提算法的识别准确率达到91.2%。所提算法可以对牦牛身份进行精确识别,从而帮助牦牛养殖场实现对牦牛的智能化管理。     

基于深度残差网络的轻量级人脸识别方法

针对深度残差网络在小型移动设备的人脸识别应用中存在的网络结构复杂、时间开销大等问题,提出一种基于深度残差网络的轻量级模型。首先对深度残差网络的结构进行精简优化,并结合知识转移方法,从深度残差网络（教师网络）中重构出轻量级残差网络（学生网络）,从而在保证精度的同时,降低网络的结构复杂度;然后在学生网络中通过分解标准卷积减少模型的参数,从而降低特征提取网络的时间复杂度。实验结果表明,在LFW、VGG-Face、AgeDB和CFP-FP等4个不同数据集上,所提模型在识别精度接近主流人脸识别方法的同时,单张推理时间达到16 ms,速度提升了10%~20%。可见,所提模型能够在推理速度得到有效提升的同时识别精度基本不下降。