深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

基于注意力卷积模块的深度神经网络图像识别

对于在深度神经网络的中间层分支进行深度融合，产生潜在可以共享有用信息的基础网络，从而优化信息流动，提升深度神经网络的性能，是近期的深度神经网络研究的挑战。对此提出一种基于注意力卷积模块的深度神经网络的图像识别方法。改进的模块主要分为树干分支与软分支两部分，在树干分支上，由两组残差模块组成，使该模块适用于其他深度神经网络；在软分支上，将给定的中间特征图沿着两个维度（空间与通道）获取注意力特征图，对输入中间特征图进行调整，强化有用信息抑制无用信息。改进的卷积残差模块既能解决输入与输出的尺寸不一致的问题，也能强化图像的关键信息与有效促进网络的信息流动。通过对cifar-10、cifar-100、ck+、AVEC2017数据集进行实验，实验结果表明了提出的方法应用于ResNet-50网络上对比Hu提出的方法在训练耗时相差不到0.3%的情况下，识别图像准确率有0.9%~1.2%的提高。     

一种改进残差深度网络的多目标分类技术

由于受场景、视角、光照、尺度变化以及局部变形等因素的影响,对重叠目标、拥挤目标、小目标的识别精度较低,提出了一种改进多支路的残差深度卷积神经网络来提高多目标识别的准确度。首先,在第一个卷积残差块layer1后保留恒等映射的同时,增加一个1×1的短接分支尽可能多的保留原始特征;再平行嵌入一个修改激活函数RELU6的空间_通道注意力机制模块（CBAM）;最后这三个特征图进行融合。融合后的特征层着重关注空间和通道中比较显著的信息,从而增强特征图的特征表达能力,以至于卷积神经网络(CNN)获得更多的判别特征,从而大大提高物体识别精度。在FashionMNIST和Cifar10两个数据集的对比性实验显示改进的resnet50算法是准确性-速度较为折中的目标识别模型。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.     

基于改进YOLOv5s的人脸疼痛表情识别

针对目前疼痛表情识别模型结构复杂、计算量大、检测速度慢、不易移植等问题,提出一种针对移动端设备的轻量化人脸疼痛表情识别算法。首先引入GhostNet网络结构中的Ghost模块卷积,压缩模型的参数量,减小计算开销;之后用改进的FReLu激活函数替换SiLu激活函数,提升识别精度与检测效率;最后引入CA注意力机制,对人脸疼痛表情特征区域增加关注度,提升算法对疼痛表情模型的识别精度。实验结果表明,改进后的模型对疼痛表情识别精度达到96.9%;每张图片检测时间为53 ms,相比YOLOv5s模型用时缩短18%;模型大小相比YOLOv5s下降41.3%。适用于移动端设备的实时疼痛表情识别。     

基于改进卷积的多尺度表情识别

在表情识别任务中由于人脸特征的多样性和不确定性,导致在特征提取阶段容易出现特征缺失以及特征提取率低下等问题,与此同时,在具有特征复用结构的网络训练过程中还会堆积大量冗余特征,从而影响特征质量。针对以上问题,提出了一种基于特征筛选结合改进卷积的残差多尺度特征融合注意力机制模型（residual multiscale feature fusion attentional network,RMFANet）。参考蓝图可分离卷积以及空洞卷积的思想,设计并引入了改进后的卷积形式,从而更有效地将卷积进行分离,提升特征提取效能;在改进后卷积模式的基础上设计并引入了多尺度并行特征提取通路,丰富了特征信息;设计并引入了特征筛选模块,以减少模型训练过程中产生的冗余特征,同时筛选出优质特征,提升特征质量;设计并引入了浅层输入特征处理层,以简化网络结构,降低计算复杂度;引入通道注意力机制,以突出局部关键特征信息;最后引入SMU激活函数,从而提升模型的非线性能力。通过实验结果可以看出,该模型可以在保证较低参数量以及计算成本的前提条件下在Fer2013数据集以及CK+数据集上分别取得70.298%和96.566%的...     

融合手部骨架灰度图的深度神经网络静态手势识别

针对在无约束环境下静态手势在识别过程中准确率不高的问题,本文提出了一种融合手部骨架灰度图(Grayscale Image of Hand Skeleton,GHS)的深度神经网络,使用手部关键点及其相互关联性构建手部骨架灰度图.网络的输入为GHS图像和RGB图像,主干网络为yolov3,添加了扩展卷积残差模块,在GHS图像和RGB图像进行特征融合后,通过SE模块对每个通道上的特征进行缩放,采用RReLU激活函数来代替Leaky ReLU激活函数.通过手部关键点及其相互间的连接信息增强手部图像特征,增大手势的类间差异,同时降低无约束环境对手势识别的影响,以提高手势识别的准确率.实验结果表明,在Microsoft Kinect&Leap Motion数据集上相比其他方法,本文方法的平均准确率达到最高,为99.68％;在Creative Senz3D数据集上相比其他方法,本文方法平均准确率达到最高,为99.8％.     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。     

改进MobileNet的图像分类方法研究

针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行取反操作,通过深度卷积融合层传递至下一层;采用Leaky ReLU激活函数代替原ReLU激活函数来保留图像中更多的正负特征信息,并加入类残差结构避免梯度弥散现象。与6种方法进行对比,实验结果表明:L-MobileNet在数据集Cifar-10、Cifar-100(coarse)、Cifar-100(fine)和Dogs vs Cats上平均准确率和最高准确率都取得了最佳结果。     

基于改进LeNet-5的面部表情识别方法

针对现有面部表情识别算法耗时长、收敛速度慢、分类精度低等问题,对LeNet-5网络的框架和内部结构进行双重优化和改进,并提出一种基于改进LeNet-5的面部表情识别方法。为了能够提取更加多样化的特征,同时提升特征表达能力,首先增加卷积层和池化层的个数,调整网络内部参数;其次,通过对卷积层、全连接层进行批规范化处理,提高网络模型的泛化能力;最后,3个池化层以maxpool_avgpool_avgpool的组合方式进行重叠池化。在FER2013人脸表情数据库进行实验,结果表明改进后的模型相较于目前的算法具有更高的识别精度。     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于改进的Faster RCNN面部表情检测算法

针对真实环境下多目标表情分类识别算法准确率低的问题,提出一种基于改进的快速区域卷积神经网络(Faster RCNN)面部表情检测算法.该算法利用二阶检测网络实现表情识别中的多目标识别与定位,使用密集连接模块替代原始的特征提取模块,该模块能够融合多层次特征信息,增加网络深度并避免网络梯度消失.采用柔性非极大抑制(soft...     

基于全局注意力及金字塔卷积网络的表情识别

近年来基于深度学习的人脸表情识别技术已取得很大进展,但对于表情特征的多尺度提取,以及在不受约束的现实场景中进行面部表情识别仍然是具有挑战性的工作。为解决此问题,提出一种金字塔卷积神经网络与注意力机制结合的表情识别方法。对于初始的一张人脸表情图像,将其按照区域采样裁剪成多张子图像,将原图像和子图像输入到金字塔卷积神经网络进行多尺度特征提取,将提取到的特征图输入到全局注意力模块,给每一张图像分配一个权重,从而得到有重要特征信息的图像,将子图像和原始图像的特征进行加权求和,得到新的含有注意力信息的全局特征,最终进行表情识别分类。在CK+、RAF-DB、AffectNet三个公开表情数据集上分别取得了98.46%、87.34%、60.45%的准确率,提高了表情的识别精度。     

基于改进的YOLOv3算法的乳腺超声肿瘤识别

为了提高乳腺癌诊断的效率以及准确性，本文提出一种基于改进的YOLOv3算法来构建一个乳腺超声肿瘤识别算法，辅助医生进行乳腺癌的诊断。首先在Res2Net网络上融入SE模块构建SE-Res2Net网络来取代原始YOLOv3中的特征提取网络，以此提升模型特征提取的能力。然后通过搭建一个新型下采样模块（downsample block）来解决原始模型中下采样操作容易出现信息丢失的不足。最后为了进一步提升模型特征提取的能力，结合残差连接网络以及密集连接网络的优点构建Res-DenseNet网络来替换原始模型的残差连接方式。实验结果表明:改进后的YOLOv3算法比原始YOLOv3算法的mAP提高了4.56%，取得较好的检测结果。     

基于改进卷积神经网络的多视角人脸表情识别

人脸表情识别是计算机视觉领域的研究热点之一。针对自然状态下的人脸存在多视角变化、脸部信息缺失等问题,提出了一种基于MVFE-LightNet（Multi-View Facial Expression Lightweight Network）的多视角人脸表情识别方法。首先,在残差网络的基础上设计卷积网络提取不同视角下的表情特征,引入深度可分离卷积来减少网络参数。其次,嵌入压缩和奖惩网络模块学习特征权重,利用特征重新标定方式提高网络表示能力,并通过加入空间金字塔池化增强网络的鲁棒性。最后,为了进一步优化识别结果,采用AdamW（Adam with Weight decay）优化方法使网络模型加速收敛。在RaFD、BU-3DFE和Fer2013表情库上的实验表明,该方法具有较高的识别率,且减少网络计算时间。