融合局部特征的面部遮挡表情识别

目的 针对人脸表情识别中存在局部遮挡的问题,提出一种融合局部特征的面部遮挡表情识别方法。方法 首先,为了减少噪声的影响,利用高斯滤波对归一化后的图像进行去噪处理;然后根据人脸不同部位对表情识别的不同贡献度,将图像划分为两个重要的子区域,并分别对该子区域进行不重叠分块处理;采用改进的中心对称局部二值模式（差值中心对称局部二值模式DCS-LBP）和改进的差值局部方向模式（梯度中心对称局部方向模式GCS-LDP）对各个子块提取相应的特征,并采用级联的方式得到图像的特征直方图;最后结合最近邻分类器对表情图像进行分类识别：利用卡方距离求取测试集图像与训练集图像特征直方图之间的距离,同时考虑到遮挡的干扰以及每个子块包含信息量的不同,利用信息熵对子块得到的卡方距离进行自适应加权。结果 在日本女性人脸表情库（JAFFE）和Cohn-Kanade（CK）人脸表情库上进行了3次交叉实验。在JAFFE库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得92.86%、94.76%和86.19%以上的平均识别率;在CK库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得99%、98.67%和99%以上的平均识别率。结论 该特征提取方法通过融合梯度方向上灰度值的差异以及梯度方向之间边缘响应值的差异来描述图像的特征,更加完整地提取了图像的细节信息。针对遮挡情况,本文采用的图像分割和信息熵自适应加权方法,有效地降低了遮挡对表情识别的干扰。在相同的实验环境下,与经典的局部特征提取方法以及遮挡问题处理方法的对比表明了该方法的有效性和优越性。     

基于主动形状模型差分纹理和局部方向模式特征融合的人脸表情识别

针对人脸表情识别背景复杂性以及表情识别的鲁棒性问题,基于Dempster-Shafer(DS)证据理论,提出了一种融合主动形状模型(ASM)差分纹理特征和局部方向模式(LDP)特征的人脸表情识别方法。ASM差分纹理既能有效地屏蔽个体人脸之间的差异,又能保留人脸表情信息。LDP特征通过计算8个方向的边缘响应来对图像进行编码,因此具有很强的抗噪能力,能够捕捉人脸因表情而产生的细微变化。在DS证据理论融合时,针对不同的特征对表情的识别率,分别用不同的权重系数来计算概率分配值。通过对JAFFE和Cohn-Kanade混合数据库进行实验,表情识别的平均识别率为97.08%,比单特征LDP高出一个百分点,有效地提高了表情识别率和鲁棒性。     

偏振编码方式的LDP人脸识别算法

目的 局部二值模式(LBP)作为一种简单高效的纹理特征描述算子,被广泛地应用在纹理分类和人脸识别中。针对LBP及其改进算法局部导数模式(LDP)对噪声敏感的问题,以及仅利用局部像素差分的符号信息进行二值量化提取的纹理特征信息单一的问题,提出一种基于偏振编码方式的LDP改进算法。方法 首先,提取改进的LDP局部一阶差分信息;然后,构建人脸Stokes矢量图像;其次,按照偏振方位角的编码方式提取人脸图像的多方向纹理特征;最后,分块加权统计各子块的直方图向量得到最终的人脸特征向量。结果 在ORL和YALE两个人脸库中进行实验,得到97.4%,92.22%的正确识别率,所用时间与LBP和LDP算法相差无几。当样本数目较大时,复杂度低于LBP方法。在存在高斯噪声和椒盐噪声的情况下,分别得到了93.88%、86.27%和96.13%、84.71%的识别率,均高于LBP算法和LDP算法。结论 本文提出的偏振编码方式的人脸识别算法提取的人脸纹理特征更加丰富,即使在噪声干扰下仍具有较高的识别率,并且对于其他的纹理分类、目标识别也具有一定的参考价值。     

结合加权局部旋度模式的3维人脸表情识别

目的 3维人脸的表情信息不均匀地分布在五官及脸颊附近,对表情进行充分的描述和合理的权重分配是提升识别效果的重要途径。为提高3维人脸表情识别的准确率,提出了一种基于带权重局部旋度模式的3维人脸表情识别算法。方法 首先,为了提取具有较强表情分辨能力的特征,提出对3维人脸的旋度向量进行编码,获取局部旋度模式作为表情特征;然后,提出将ICNP（interactive closest normal points）算法与最小投影偏差算法结合,前者实现3维人脸子区域的不规则划分,划分得到的11个子区域保留了表情变化下面部五官和肌肉的完整性,后者根据各区域对表情识别的贡献大小为各区域的局部旋度模式特征分配权重;最后,带有权重的局部旋度模式特征被输入到分类器中实现表情识别。结果 基于BU-3DFE 3维人脸表情库对本文提出的局部旋度模式特征进行评估,结果表明其分辨能力较其他表情特征更强;基于BU-3DFE库进行表情识别实验,与其他3维人脸表情识别算法相比,本文算法取得了最高的平均识别率,达到89.67%,同时对易混淆的“悲伤”、“愤怒”和“厌恶”等表情的误判率也较低。结论 局部旋度模式特征对3维人脸的表情有较强的表征能力; ICNP算法与最小投影偏差算法的结合,能够实现区域的有效划分和权重的准确计算,有效提高特征对表情的识别能力。试验结果表明本文算法对3维人脸表情具有较高的识别率,并对易混淆的相似表情仍具有较好的识别效果。     

基于非凸低秩分解判别的叠加线性稀疏人脸识别

目的 针对因采集的人脸图像样本受到污染而严重干扰人脸识别及训练样本较少（小样本）时会由于错误的稀疏系数导致性能急剧下降从而影响人脸识别的问题,提出了一种基于判别性非凸低秩矩阵分解的叠加线性稀疏表示算法。方法 首先由γ范数取代传统核范数,克服了传统低秩矩阵分解方法求解核范数时因矩阵奇异值倍数缩放导致的识别误差问题;然后引入结构不相干判别项,以增加不同类低秩字典间的非相干性,达到抑制类内变化和去除类间相关性的目的;最后利用叠加线性稀疏表示方法完成分类。结果 所提算法在AR人脸库中的识别率达到了98.67±0.57%,高于SRC（sparse representation-based classification）、ESRC（extended SRC）、RPCA（robust principal component analysis）+SRC、LRSI（low rank matrix decomposition with structural incoherence）、SLRC（superposed linear representation based classification）-l₁等算法;同时,遮挡实验表明,算法对遮挡图像具有更好的鲁棒性,在不同遮挡比例下,相比其他算法均有更高的识别率。在CMU PIE人脸库中,对无遮挡图像添加0、10%、20%、30%、40%的椒盐噪声,算法识别率分别达到90.1%、85.5%、77.8%、65.3%和46.1%,均高于其他算法。结论 不同人脸库、不同比例遮挡和噪声的实验结果表明,所提算法针对人脸遮挡、表情和光照等噪声因素依然保持较高的识别率,鲁棒性更好。     

复合时空特征的双模态情感识别

目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩（TSLTPM）。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图（3DHOG）特征来增强对情感视频的描述。方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP（体积局部二值模式）、LBP-TOP（三正交平面局部二值模式）、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

结合像素模式和特征点模式的实时表情识别

目的 目前2D表情识别方法对于一些混淆性较高的表情识别率不高并且容易受到人脸姿态、光照变化的影响,利用RGBD摄像头Kinect获取人脸3D特征点数据,提出了一种结合像素2D特征和特征点3D特征的实时表情识别方法。方法 首先,利用3种经典的LBP（局部二值模式）、Gabor滤波器、HOG（方向梯度直方图）提取了人脸表情2D像素特征,由于2D像素特征对于人脸表情描述能力的局限性,进一步提取了人脸特征点之间的角度、距离、法向量3种3D表情特征,以对不同表情的变化情况进行更加细致地描述。为了提高算法对混淆性高的表情识别能力并增加鲁棒性,将2D像素特征和3D特征点特征分别训练了3组随机森林模型,通过对6组随机森林分类器的分类结果加权组合,得到最终的表情类别。结果 在3D表情数据集Face3D上验证算法对9种不同表情的识别效果,结果表明结合2D像素特征和3D特征点特征的方法有利于表情的识别,平均识别率达到了84.7%,高出近几年提出的最优方法4.5%,而且相比单独地2D、3D融合特征,平均识别率分别提高了3.0%和5.8%,同时对于混淆性较强的愤怒、悲伤、害怕等表情识别率均高于80%,实时性也达到了10~15帧/s。结论 该方法结合表情图像的2D像素特征和3D特征点特征,提高了算法对于人脸表情变化的描述能力,而且针对混淆性较强的表情分类,对多组随机森林分类器的分类结果加权平均,有效地降低了混淆性表情之间的干扰,提高了算法的鲁棒性。实验结果表明了该方法相比普通的2D特征、3D特征等对于表情的识别不仅具有一定的优越性,同时还能保证算法的实时性。     

基于差值局部方向模式的人脸特征表示

提出一种基于差值局部方向模式的人脸特征表示方法(difference local directional pattern,简称DLDP):首先,通过Kirsch掩模卷积运算,为每个像素计算8个方向的边缘响应值;然后,计算8个相邻边缘响应值的强度差,前k个最突出的强度差对应的方向编码为1,其他方向编码为0,形成一个8位二进制数表示对应的DLDP模式;此外,针对高分辨率的Kirsch掩模单纯考虑方向性而没有考虑像素位置权重的问题,提出相应的掩模权值设计方法;最后,把每幅图像划分成多个不重叠的局部图像块,通过统计图像块上不同DLDP模式个数生成相应的子直方图,所有子直方图被串联起来表示一幅人脸图像.实验结果表明,该方法在光照、表情、姿态和遮挡方面获得了较好的结果,尤其针对遮挡情况,表现更为突出.     

改进的局部方向模式纹理表示方法

目的：纹理是描述和区分不同物体的重要特征之一,纹理特征提取一直是模式识别、机器视觉领域的研究热点。局部方向模式（Local directional pattern, LDP）是一种分辨性好、对随机噪声和非均匀光照鲁棒的纹理特征。而LDP特征由于计算8方向的边缘响应并排序,提取速度较慢。本文改进了LDP编码方案。方法：论文设计了两种改进方案。第一种方案直接对8方向的边缘响应符号进行编码,避开排序,称为FLDP（Fast Local Directional pattern, FLDP）特征;第二种方案,论文尝试使用较少的方向模板来降低特征提取的时间、空间消耗,设计了MLDP算子（Mini Local Directional pattern,MLDP）。结果：在Brodatz数据集的24类均匀纹理图像以及111类全部纹理图像上将本文提出的FLDP特征、MLDP特征与传统的LDP进行了对比实验。实验结果表明,在保证了分类准确率的前提下,FLDP算子的运算速度是3th-LDP的20倍左右,MLDP算子的运算速度是3th-LDP的35倍左右。结论：论文设计了2种方案改进了LDP特征,分别为FLDP算子和MLDP算子。实验表明,这两种改进方案,在保证分类准确率的同时,大幅度提高了特征提取运算速度。     

双差值局部方向模式的人脸识别

针对差值局部方向模式（DLDP）特征提取不够充分和对光照、噪声等比较敏感的问题,提出一种双差值局部方向模式（DDLDP）人脸识别方法。首先,分别将半径为1的3×3领域像素灰度值和半径为2的5×5领域像素灰度值与8个Kirsch模板算子卷积,得到两组对应8个灰度响应值。然后,将半径为1的灰度响应值,按照相邻前后作差的方式,得到8个灰度响应差值,再将半径为1和2得到的灰度响应值上下作差,也得到8个灰度响应差值。最后,将两组灰度响应差值取绝对值,其最大绝对值所对应下标位置构成DDLDP码。仿真实验结果表明,相比同类基于局部方向模式的单一人脸识别算法,该方法具有更好识别效果。DDLDP更加完整地提取了人脸特征,且表现出对光照和噪声更好的鲁棒性。     

基于改进局部方向模式的人脸识别

在利用传统局部方向模式（ LDP）及其改进方法进行人脸识别时,存在两个主要问题,一是局限于3×3邻域来提取特征,二是在人脸识别时将图像不同分块同等对待。针对上述问题,提出了改进的LDP。一方面提出了多分辨率分析方法,将LDP由3×3窗口模式扩展至多分辨率窗口模式;另一方面,通过采用分块加权法来增强不同分块对人脸识别的不同贡献程度。采用Yale和Orl人脸图像库进行实验,结果表明：基于改进的方法明显提高了人脸识别的效果。     

结合改进的LBP和LDP的人脸表情识别

提出了一种结合改进的LBP（局部二值模式）和LDP（局部定向模式）的人脸表情特征提取方法。改进的LBP维数明显降低,更多地考虑了空间结构信息且计算速度得到了提高。LDP方法具有很强的抗噪能力,更好地提取边缘信息。基于两种方法可以优势互补,先对图像分块子区域用改进的LBP进行特征提取,再用LDP对脸部子区域进行特征提取,最后把改进的LBP提取的特征和LDP提取的特征按顺序串接起来作为总特征,用最近邻进行分类。在JAFFE表情库进行了实验,证明提出的方法能够有效地提高人脸表情的识别率。     

增强成对旋转不变的共生扩展局部二值模式

目的 针对成对旋转不变的共生局部二值模式（PRICoLBP）算法对图像光照、旋转变化鲁棒性较差,且存在特征维度过大的问题,提出了一种可融合多种局部纹理结构信息的有效特征——增强成对旋转不变的共生扩展局部二值模式。方法 首先,对图像各像素点的邻域像素点灰度值进行二值量化得到二值编码序列,并不断旋转二值序列得到以不同邻域点作为编码起始点对应的LBP值;然后,分别利用极大、极小LBP值对应的邻域起始编码点和中心像素点确定两个方向矢量,并沿这两个方向矢量在两个不同尺度图像上选取上下文共生点;其次,利用扩展局部二值模式（ELBP）算法的旋转不变均匀描述子来提取上下文共生点对的中心像素灰度级、邻域像素灰度级及径向灰度差异特征间的相关性信息;最后,用上下文共生点对的特征直方图训练卡方核支持向量机,检测纹理图像类别。结果 通过对Brodatz、Outex （TC10、TC12）、Outex （TC14）、CUReT、KTH-TIPS和UIUC纹理库的分类实验,改进算法的识别率比原始的PRICoLBP算法识别率分别提高了0.32%、0.57%、5.62%、3.34%、2.1%、4.75%。结论 利用像素点LBP特征极值对应的起始编码序列来选取上下共生点对,并用ELBP算法提取共生点对局部纹理信息,故本文方法能更好描述共生点对间的高阶曲率信息及更多局部纹理信息。在具光照、旋转变化的Outex、CUReT、KTH-TIPS纹理库图像分类实验中,所提方法比原始PRICoLBP算法取得了更高的识别率。实验结果表明,改进算法相比于原始算法能在较低的特征维度下对图像光照、旋转变化具有较好的鲁棒性。     

局部均匀模式描述和双加权融合的人脸识别

目的 针对LBP算法对边缘及噪声信息比较敏感,提出一种统一化的局部均值模式(ULMP)描述算子。考虑到全局和局部特征在识别上的互补性,提出一种ULMP描述和双加权融合的人脸识别方法。方法 首先利用ULMP算法获得整幅图像的编码图,接着将其分块,统计每一子块的直方图获得局部纹理特征,并结合BP神经网络得到局部分类结果。引入云模型求取不同子块的权值,对局部分类结果进行加权融合。整体纹理特征的获取是将不同子块的直方图特征串联。在得到全局和局部的分类结果后,将两者加权集成,获得最终的识别结果。结果 在ORL和Yale人脸库上进行实验,ULMP具有很好的识别性能。5幅测试样本时,在ORL库上取得了95.9%的平均识别率,分别比局部二值模式(LBP)、MCT、局部方向模式(LGP)、统一的LBP(ULBP)和局部中心二值模式(CSLBP)高11.3%、10.6%、9.5%、8.9%和3.9%;在Yale库上取得了97.4%的识别率,分别比LBP、MCT、LGP、ULBP和CSLBP高19.9%、17.7%、10.7%和0.7%。在ORL和Yale人脸库上,本文提出的双加权融合模式分别取得了98.5%和98.34%的平均识别率,高于任何单一模块。结论 本文提出的纹理提取算法ULMP,具有很好的平滑噪声及边缘信息的作用,适用于面部纹理特征的提取。利用云模型求取的权值的方法能够较好地发挥局部分类器间的集成作用,最终有效地提高了系统的整体性能。双加权融合模式是一种精确且有效的人脸识别方法,适用于静态人脸图像的匹配识别。     

利用异或运算和编码约束的降维LDP人脸识别方法

为了有效表示面部特征,在局部方向模式(LDP)的基础上,提出降维局部方向模式(RDLDP)；首先,修改LDP编码模式约束以完成模式的重构,通过对LDP码进行异或运算来计算每个块的单一码；然后,将所得编码图像划分为生成直方图,连接所有区域的直方图块以形成最终描述符;最后,计算特征向量间的卡方相异性度量值,并使用最近邻分类器完成最终的人脸识别;实验采用了3个公开的标准数据库FERET、扩展YALE-B和ORL,提出的改进方法在3个数据集上的最高识别率分别可高达96.97%、96.10%、97.61%,该结果验证了提出方法的有效性。与其他基于局部描述符的先进方法相比,提出方法在准确度和错误识别率等方面更优。     

基于LDP特征和贝叶斯模型的人脸识别

针对现有的局部方向模式LDP(Local Directional Pattern)方法仅利用了图像自身的LDP特征的问题,提出将LDP特征直方图与贝叶斯(Bayes)模型相结合的方法,从而有效使用人脸图像的先验信息,以提高人脸的识别率。第一步,在相互独立的训练集上,学习同类样本图像和异类样本图像的LDP直方图特征相似度的先验信息,并估计类条件概率密度函数(同类样本与异类样本分别进行计算);第二步,利用人脸图像的LDP直方图来比较该图像是否为某一类型图像的概率数值大小;第三步,使用贝叶斯规则进行分类。仿真结果证明,在ORL库与Yale库上,与传统PCA,LBP和LDP算法相比,所提方法得到的人脸识别率均有显著提升。