遮挡人脸表情识别深度学习方法研究进展

在真实环境下遮挡是准确分析识别人脸表情的主要障碍之一。近年来研究者采用深度学习技术解决遮挡条件下表情误识别率高的问题。针对遮挡表情识别的深度学习算法和遮挡相关的问题进行归纳总结。首先,概括局部遮挡条件下表情识别的发展现状、表情的表示方式以及研究遮挡表情用到的数据集;其次,回顾遮挡表情识别深度学习方法的最新进展和分析遮挡对表情的影响;最后,总结主要技术挑战,研究难点及其可能的应对策略。目的是为将来的遮挡表情识别研究提供更有益的参考依据和基准。     

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。     

基于多特征融合密集残差CNN的人脸表情识别

传统人脸表情识别主要基于人工提取特征,其存在算法鲁棒性较差、易受人脸身份信息干扰等问题,以及传统卷积神经网络不能充分提取人脸表情特征的现状。对此提出一种基于多特征融合密集残差卷积神经网络的人脸表情识别。该方法能够充分利用神经网络中每层的特征,在密集块中,对于每一个卷积层,其前面所有卷积层的输出都将作为本卷积层的输入。然后将每个密集块的输出送入到全连接层中进行特征融合,经过Softmax分类器分类。在CK+和FER2013数据集上进行多次实验,与传统的机器学习方法相比,该方法具有较高的准确率与较强的鲁棒性。     

基于深度学习的人脸表情识别方法研究

伴随着计算机网络体系的全面升级和进步,浅层网络和深层网络研究受到了社会各界的广泛关注,一定程度上推动了机器学习的发展进程.从人工神经网络方向传递算法到目前机械深度学习理念,真正实现了学术和工业的同步改革.本文对深度学习原理进行了分析,并集中阐释了基于深度学习的人脸表情识别方法,以供参考.     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

一种基于降噪自编码器的人脸表情识别方法

针对传统人脸表情识别算法鲁棒性差,易受到人脸身份信息干扰的问题,本文在基于降噪自编码器的基础上,提出一种人脸表情识别算法。首先,从图片中检测出人脸部分,并进行尺度归一化处理;再构造堆栈式降噪自编码神经网络模型进行预训练;最后为了避免由训练样本不足容易造成的过拟合问题,在深度网络模型的全连接层采用了Dropout技术。实验结果在数据集CK 、JAFFE和Yale上均取得了较高的准确率,说明了该方法具有较强的鲁棒性和抗身份信息干扰的能力。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+(the e...     

基于深度学习的面部表情识别研究

针对基于深度学习的静态人脸图像表情识别方法进行研究,首先介绍了深度学习的原理,并归纳了目前公开且常用的面部表情数据集;然后介绍了基于深度学习的表情识别的三个步骤,归纳了图像预处理和表情分类的主要方法,重点总结了目前性能较好用来提取特征的深度学习框架以及这些方法的基本原理和优劣势比较;最后指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

一种基于深度学习的表情识别方法

针对人脸表情识别鲁棒性差,容易受身份信息干扰的问题,提出一种具有局部并行结构的深度神经网络识别算法。首先使用稀疏自编码算法训练得到不同尺度的卷积核,然后提取卷积核特征并作池化处理,使特征具有一定的平移不变性,最后采用与表情相关的7个并行的4层网络得到最终的分类结果。实验结果表明,在标准的人脸表情识别库上进行独立测试时,本文提出的局部并行深度神经网络的表情识别方法对测试集的人不出现在训练集中的情况有较好表现,相比其他算法更具有实用性。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

采用深度学习方法的非正面表情识别综述

2017年人工智能正式升级为中国国家战略,作为人工智能领域中重要的研究方向,人脸表情识别受到了国内外研究者们的广泛关注.然而传统的人脸表情识别技术无法适应自然环境下的表情识别需求.因此非正面人脸表情识别方法成为实现表情识别技术实用化突破的重点.但是现有的非正面表情识别研究面临很多困难:头部偏转不仅造成了识别图像的扭曲,...     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

基于深度学习的人脸属性识别方法综述

人脸属性识别是计算机视觉和模式识别领域的热门研究课题之一,对人脸图像的分析和理解具有重要的研究意义,同时在图像检索、人脸识别、微表情识别和推荐系统等诸多领域具有广泛的实际应用价值.随着深度学习的快速发展,目前国内外学者已提出许多基于深度学习的人脸属性识别(deep learning based facial attribute recognition, DFAR)方法.首先,阐述人脸属性识别方法的总体流程.接着,按照不同的模型构建方式,分别对基于部分的与基于整体的DFAR方法进行详细地概述与讨论.具体地,对基于部分的DFAR方法按是否采用规则区域定位进行分类,而对基于整体的DFAR方法则分别从基于单任务学习、基于多任务学习的角度进行区分,并对基于多任务学习的DFAR方法根据是否采用属性分组来进一步细分.然后介绍了常用的人脸属性识别数据集与评价指标,并对比与分析了新近提出的DFAR方法的性能.最后对DFAR方法的未来研究趋势进行展望.     

深度学习下融合不同模型的小样本表情识别

为了进一步提高人脸表情识别在小样本中的准确率,提出了一种深度学习下融合不同模型的小样本表情识别方法。该方法首先对单个卷积神经网络(CNN)模型进行比较,通过dropout层不同的节点保留概率p,筛选相对合适的CNN。之后采用尺度不变特征变换(SIFT)算法提取出特征,使用SIFT提取特征的目的是提高小数据的性能。为了减少误差,避免过拟合,将所有模型进行汇总,采用简单平均的模型融合方法得到CNN-SIFT-AVG模型。最后,只采用少量样本数据来训练模型即可。该模型已在FER2013、CK+和JAFFE数据集上进行了验证实验。实验结果表明,该模型可以很大程度上提高小样本表情识别的准确率,并在FER2013、CK+和JAFFE数据集上产生了较优异的结果,与其他表情识别方法相比,准确率最大提升约6%。     

基于纹理特征融合的人脸表情识别

局部二值模式(LBP)和韦伯局部描述算子(WLD)是两种图像的纹理描述算子,在图像的特征提取方面有较强的能力。为了更加准确地对人脸表情进行识别与分类,针对LBP在特征提取的过程中只考虑了中心像素点与周围的其他像素点的灰度值之差,WLD仅考虑中心像素点与周围像素点灰度值之间的激励强度与梯度方向关系的问题,提出一种新的特征提取算法—局部二值韦伯模式(LBWP)。首先对图像进行预处理,检验人脸和裁剪有效的表情区域,接着对图像进行LBWP特征提取,在特征提取之后采用SVM的分类器对表情进行识别和分类。该算法在CK+数据集和JAFFE数据集上进行实验仿真,识别率分别达到了97.14%和95.77%。实验结果验证了LBWP算法在表情识别方面的有效性,且丰富了人脸图像特征提取方法。     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

基于稀疏子空间迁移学习的跨域人脸表情识别

针对实际场景中人脸表情识别训练和测试数据来自不同场景从而导致识别性能显著下降的问题,提出了一种基于稀疏子空间迁移学习的跨域人脸表情识别方法.首先,引入稀疏重构的思想来获得一个共同的投影矩阵,同时对重构系数矩阵施加L 2,1范数约束;其次,引入图拉普拉斯正则化项来保留数据的局部判别结构;最后,利用源域丰富的标签信息,将样...     

基于深度学习的行为识别多模态融合方法综述

行为识别是通过对视频数据进行处理分析从而让计算机理解人的动作和行为.不同模态数据在外观、姿态、几何、光照和视角等主要特征上各有优势,通过多模态融合将这些特征进行融合可以获得比单一模态数据更好的识别效果.本文对现有行为识别多模态融合方法进行介绍,对比了它们之间的特点以及获得的性能提升,包括预测分数融合、注意力机制、知识蒸馏等晚期融合方法,以及特征图融合、卷积、融合结构搜索、注意力机制等早期融合方法.通过这些分析和比较归纳出未来多模态融合的研究方向.