基于直方图加权HCBP的人脸表情识别

针对局部二值模式(Local binary pattern,LBP)及其改进算法所提取的特征维数过长、局部特征描述不够充分的缺点,提出了一种基于直方图加权HCBP(Haar-like centralized binary pattern,HCBP)的人脸表情识别方法。首先将人脸图像分成大小均匀的若干子块,利用HCBP算子提取各子块的纹理特征;然后通过信息熵的计算求得各子图像的权值,将加权子块HCBP特征直方图和原图像的HCBP直方图进行联合作为表情特征;最后,使用最近邻分类器对特征进行分类。Haar型特征与CBP相结合使得本文特征提取算法对局部特征的描述更为充分,信息熵的引入区分了人脸不同部位对表情的贡献程度。通过在JAFFE和Cohn-Kanade人脸表情库的实验证明:本文方法具有更高的识别率和识别效率。     

Gabor多方向特征融合与分块统计的表情识别

为了克服传统Gabor特征存在提取时间长和数据维数过高的不足,提出一种Gabor多方向特征融合与分块统计的表情特征提取方法。为了提取局部方向信息并降低特征维数,首先对预处理的人脸表情图像进行Gabor变换并提取多尺度多方向的表情特征;然后借鉴局部二值模式(local binary pattern,LBP)的思想将相同尺度、不同方向的特征进行融合,并对融合图进行分块,统计每块融合图的均值和标准差,以此构建块特征矢量(block feature vector,BFV),再将其联合起来形成整幅图像的表情特征矢量(expression feature vector,EFV);最后利用支持向量机(support vector machine,SVM)对提取的EFV进行分类。该算法在JAFFE和Cohn-Kanade(CK)库上进行实验,分别取得了95.67%、96.17%的平均识别率以及1 213 ms和4 565 ms的平均特征提取时间。实验结果表明所提方法能较快、较准确地进行人脸表情识别。     

基于小波MCBP和WEF的人脸表情识别

现有的多尺度中心化二值模式（MCBP）通过在原始图像上改变CBP算子的半径,随着算子半径的增加计算量也迅速增加。针对这个问题,提出一种基于小波的MCBP（WMCBP）的人脸表情识别方法,对小波分解后的两幅低频图像的特征区域进行CBP变换,得到多级局部CBP直方图序列特征．该方法不仅能获得更加准确的多尺度信息,而且大大降低了运算量。为进一步提高表情识别率,引入了加权的小波能量特征（WWEF）。通过对JAFFE人脸表情库的实验证明;这两部分特征在一定程度上可互补,将它们融合能在不明显增加运算量的前提下增强WMCBP的表情识别能力。     

WGC特征描述的人脸表情识别

针对韦伯局部特征(WLD)仅计算中心像素与周围像素差异提取特征的不足,提出了一种韦伯梯度编码(WGC)特征描述的人脸表情识别算法。首先计算当前像素点周围水平、垂直和对角位置上的数值差与当前像素点的差异构成WGC特征的差动激励;然后进一步提出基于水平和对角线优先原则的WGC_HD特征;最后利用最佳分块方式得到行分块WGC_HD特征,采用自动优化参数的SVM分类器完成人脸表情识别。在公共人脸表情库JAFFE和CK库上进行交叉实验,平均识别率及平均特征提取时间分别为95.49%、12.30 ms和97.63%、31.54 ms。行分块WGC_HD特征考虑了不同梯度方向的像素差异,较好描述了表情图像的局部结构信息且具有较低的时间复杂度,与目前典型的表情识别算法结果对比也验证了算法具有较高的识别精度。     

局部梯度DT-CWT主方向模式的表情识别

提出一种采用局部梯度双树复小波变换(dual-tree complex wavelet transform,DT-CWT)主方向模式(dominant direction pattern,DDP)的人脸表情识别方法。首先,对归一化后的表情图像进行4层DT-CWT,每一层得到8个方向的DT-CWT特征图像,其中包括6个高频方向和2个低频方向,构建一种新的主方向模式(IDDP)对每个DT-CWT特征图像进行编码;然后按照基于梯度方向的融合规则将每一层上IDDP编码特征图融合到一起,将融合图进一步划分为若干个不重叠且大小相等的子块,分别计算每个子块区域的直方图分布,将其联合起来得到人脸表情图像的特征;最后,采用基于Fisher加权的Chi平方概率统计最近邻方法进行分类识别。大量实验表明,算法在识别率和识别时间上都体现出了一定的优势。     

基于MobileNetV3多尺度特征融合的人脸表情识别

针对人脸表情识别中普通卷积神经网络特征提取能力不足且识别效率低下的情况，本文提出了一种基于MobileNetV3多尺度特征融合的人脸表情识别。首先利用MobileNetV3进行特征提取以获得高层次情感信息；其次在骨干网络中借鉴DenseNet结构，增强特征复用并提升网络重要面部特征表达能力；然后利用特征金字塔模块充分获取人脸图像的深层和浅层多尺度融合特征，从而提高了MobileNetV3的特征提取能力和实时性；最后利用全连接层构建分类器对表情进行分类，从而完成了人脸表情识别。通过实验验证，结果表明，在CK+和FERPlus数据集上识别准确率可以达到88.3%和98.8%，与现有方法相比分别提高了2.3%和1.5%，表明了所提方法识别效果好，泛化能力强。     

融合边缘检测和递归神经网络的视频表情识别

为有效解决传统视频人脸表情识别通常只关注单张视频帧的空间特征,而忽略了相邻帧之间隐藏的时间特征的问题,提出一种结合边缘检测和递归神经网络的视频表情识别方法,利用梯度边缘检测准确地提取输入图像的纹理信息,同时提出一种分片交叉LSTM结构,提取出图像序列中隐藏的时空特征。实验在CK+和MMI视频库上进行,在OCNN-RNN网络中分别取得88.4%和69.7%的识别率,在GCNN-RNN网络中分别取得89.8%和73.6%的识别率,最终使用提出的加权随机搜索方法融合GCNN-RNN和OCNN-RNN两个网络之后,分别取得了94.6%和79.9%的识别率,均优于单流网络算法,证明了所提算法的有效性。     

基于图像特征提取与BP神经网络的绝缘子憎水性识别方法

为了方便、快捷、准确地识别运行中绝缘子表面的憎水性等级,提出了基于图像特征提取与BP神经网络的绝缘子憎水性识别方法。首先,利用同态滤波和直方图均衡对憎水性图像进行增强预处理,然后利用改进的Canny算子提取了图像中水珠(或水迹)的边缘,并利用数学形态学对其进行修正得到最终的分割图像;提取图像中与憎水性相关的4个特征量,最后建立了基于BP神经网络的憎水性识别模型,并对测试样本的憎水性等级进行了识别。实验结果表明,该方法克服了人为因素的影响,能够有效识别绝缘子7种典型憎水性等级,总识别率达90%,为在线检测绝缘子憎水性提供一种新的有效方法。     

表情变化的三维人脸特征分析方法

三维人脸因其对光照,装扮变化的不敏感成为人脸分析和识别发展的新趋势。但极易受表情变化的影响成为三维人脸研究发展的瓶颈。针对此关键问题提出一种新的不受表情变化影响的三维人脸分析方法:1)计算三维人脸曲面的内蕴特征测地线距离,提取等距测地线来描述三维人脸曲面特征;2)利用改进的SIFT算法进行特征匹配。在具有不同表情的三维人脸深度图上的实验结果表明,该方法无需复杂的注册,表情的鲁棒性和识别效果优于传统的三维人脸分析方法。     

基于区域 NSBP 特征的加权证据融合表情识别

为了提取鲁棒性强的人脸纹理特征并提高区域特征决策融合的性能,提出一种基于邻近平滑二值模式( neighbor smooth binary pattern, NSBP)特征描述子和加权证据融合(weighted evidence fusion, WEF)的表情识别新方法。 首先,提出了一种 NSBP 描述子,通过判定水平、垂直及对角线方向上的“中心”像素点灰度值是否在各梯度方向上两邻域的灰度值范围内来对图像进 行编码;然后基于提取的眉毛、眼睛和嘴巴区域的 NSBP 纹理特征来构造证据的初始基本概率分配(basic probability assignment, BPA);最后针对登普斯特-谢弗(Dempster-Shafer, D-S)证据理论在证据之间存在冲突时进行融合的不足,提出一种加权证据修 正的合成方法,以完成 3 个区域证据的决策融合。 实验结果表明,该方法在 CK(Cohn-Kanade)数据库上的平均表情识别率和识 别时间分别为 95. 25%、765 ms,与其他相关方法的比较也验证了其有效性。