基于局部二元模式的面部表情识别研究

提出了一种基于局部二元模式（Local Binary Pattern,LBP）与支持向量机（SVM）相结合的面部表情识别方法。使用LBP算子对图像进行处理,对图像的模式进行统计形成面部表情特征;使用线性判别分析对表情特征进行降维处理;采用支持向量机对面部表情进行分类。用Matlab实现了上述方法,并在日本女性人脸表情（JAFFE）数据库上测试,取得了70.95%的识别率。     

非对称方向性局部二值模式人脸表情识别

针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式（AR-DLBP）多尺度多方向融合的表情识别算法。首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度（CM）;然后提取人脸及关键区域的异或-非对称方向性局部二值模式（XOR-AR-DLBP）直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别。该算法在JAFFE库、CK库上仿真实验,分别取得95.71%、97.99%的平均识别率及112?ms、135?ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别。通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的。     

基于多尺度中心化二值模式的人脸表情识别

现有局部二值模式(LBP) 算子存在不足: 产生的直方图维数过长、鉴别力不高、对噪声反应敏感. 针对此类问题, 提出中心化二值模式(CBP) 算子, 其优点: 1) 通过比较邻域中近邻点对, 大大降低了直方图维数; 2) 考虑中心像素点的作用并赋予其最高权重, 实现鉴别力的提高; 3) 改变LBP算子的符号函数, 明显减弱白噪声对图像的影响.此外, 为提高识别率, 将多尺度CBP(MCBP) 直方图作为人脸表征. 为增强算法对表情图像中细小变形的鲁棒性, 引入图像欧式距离(IMED) 并将其嵌入MCBP方法. 在JAFFE和Cohn-Kanade表情库的实验结果表明: 所提方法优于其它表情识别方法, IMED可增强MCBP的表情识别能力.     

基于局部SVM分类器的表情识别方法

提出了一种新的视频人脸表情识别方法. 该方法将识别过程分成人脸表情特征提取和分类2个部分,首先采用基于点跟踪的活动形状模型(ASM)从视频人脸中提取人脸表情几何特征;然后,采用一种新的局部支撑向量机分类器对表情进行分类. 在Cohn2Kanade数据库上对KNN、SVM、KNN2SVM和LSVM 4种分类器的比较实验结果验证了所提出方法的有效性.     

基于Gabor和二值叠加CS-LBP特征的人脸表情识别

在表情识别中Gabor结合局部二值模式（LBP）的特征提取方法以及直方图统计降维虽然是较为局部化的方法,但LBP鲁棒性较差,识别精度不高,而且使用直方图统计来区分表情,其计算复杂度和特征维数依旧较高。中心对称局部二值模式（CS-LBP）与LBP相比具有较好的鲁棒性,但其对表情纹理细节的描述仍不够详细。因此提出基于Gabor结合改进的CS-LBP即二值叠加中心对称局部二值模式（二值叠加CS-LBP）的特征提取方法。用Gabor提取特征,同时用两种计算方式提取两个特征值并叠加,作为最终识别的特征;并通过离散余弦变换（DCT）降维,有效降低表情的特征维数。在JAFFE表情库中实验验证了该方法能有效提高识别精度。     

多尺度中心误差补偿二值模式的表情识别

针对Gabor小波与局部二值模式（Local Binary Pattern,LBP）在表情识别上的局限性,提出了一种多尺度中心误差补偿二值模式（Center Error Compensation Binary Pattern,CECBP）的表情识别方法。对预处理后的人脸表情图像创建多尺度的金字塔,用中心误差补偿二值模式对金字塔中的各层图像进行编码,分块提取各层编码后的直方图序列作为特征,用支持向量机（Support Vector Machine,SVM）进行分类。在JAFFE、Cohn-Kanade以及Pain Expression表情库上的交叉验证表明,该方法可以抑制噪声,具有较高的识别率和较快的识别速度,比传统的Gabor小波以及LBP更具有优势。     

基于非对称局部梯度编码的人脸表情识别

目的 针对局部梯度编码算子(LGC)只能在固定大小邻域内提取图像纹理特征的不足,提出了一种非对称邻域LGC算子(AR-LGC)多尺度融合的表情特征提取方法。方法 首先,对归一化的表情图像进行Gauss滤波处理;然后,对图像进行分块,对每个子块图像中每一像素点,采用不同邻域大小的AR-LGC算子得到两个二进制序列,将两个序列作按位逻辑异或得到一个新的序列,对此序列进行编码,计算每个子块的直方图分布,级联各子块直方图构成人脸表情的特征;最后用SVM分类器进行表情分类识别。结果 该算法在JAFFE库和CK库上进行实验,分别取得了95.24%和96.83%的平均识别率,并与CBP(中心化二值模式)、LBP(局部二值模式)、LGC和AR-LBP(非对称局部二值模式)算法进行了比较,在JAFFE库的平均识别率分别比CBP、LBP、LGC、AR-LBP高5.6%、4.85%、3.71%、2.40%,在CK库的平均识别率分别比CBP、LBP、LGC、AR-LBP高3.66%、2.50%、2.17%、1.66%,实验结果表明,该算法可以较准确地进行人脸表情识别。结论 本文所提的表情特征提取方法通过融合不同梯度不同尺度子邻域间的强度关系,可以很好地表达图像的局部特征和全局特征,与典型的特征提取算法的对比实验也表明了本文算法的有效性,表明本文算法适用于静态人脸表情图像的识别。     

基于自动分割的局部Gabor小波人脸表情识别算法

针对包含表情信息的静态灰度图像,提出基于自动分割的局部Gabor小波人脸表情识别算法。首先使用数学形态学与积分投影相结合定位眉毛眼睛区域,采用模板内计算均值定位嘴巴区域,自动分割出表情子区域。接着,对分割出的表情子区域进行Gabor小波变换提取表情特征,再利用Fisher线性判别分析进行选择,有效地去除了表情特征的冗余性和相关性。最后利用支持向量机实现对人脸表情的分类。用该算法在日本女性表情数据库上进行测试,实现了自动化且易于实现,结果证明了该方法的有效性。     

一种基于单演相位局部差分二值模式的人脸识别方法

提出一种融合单演方向和尺度间互补信息的单演相位局部差分二值模式的人脸识别方法。该方法首先提取图像的单演相位,对单演相位进行局部差分,求绝对值,并进行二值编码;接着对单演方向和相位尺度间对应的相位点进行二值编码;然后将单演方向编码、相位尺度间编码、同一尺度的单演相位差分二值编码按顺序排列形成单演相位差分模式;最后采用统计学的方法形成单演相位差分二值模式映射表,并将单演相位编码进行映射,从而达到保留主要特征模式、降低特征维度的目的。在ORL和CAS PEAL人脸库上的实验表明,该方法具有很好的识别性能。     

基于二维多尺度局部Gabor二进制模式特征的表情识别

为了在独立于个体身份的面部表情识别中取得更加理想的效果,提出了一种基于二维多尺度局部Gabor二进制模式（MB-LGBP）特征的识别方法。对于表情识别而言,MB-LGBP已被证明了是一种局部和整体上都具有很强表征能力的描绘子。将MB-LGBP与灰度共现矩阵(GLCM)结合起来得到了可以更好地描述局部纹理空间结构特性的二维MB-LGBP特征。在识别中,分别选择了支持向量机（SVM）和基于卡方距离的K-最近邻（KNN）分类器,并对结果进行了比较。实验结果证明了二维MB-LGBP特征相比于MB-LGBP以及其他一些主要的表情识别特征的优越性。     

基于卷积神经网络的人脸表情识别

传统的神经网络表情识别系统由特征提取和神经网络分类器组成,利用人的经验来获取模式特征,很容易丢失表征表情特征的细节信息。提出一种基于卷积神经网络的识别方法,避免了对图像进行复杂的特征提取,直接把图像数据作为输入。通过在Cohn-Kanade表情库上的实验结果表明,该方法能够取得很好的表情分类效果。     

自适应加权完全局部二值模式的表情识别

为了有效地提取局部特征和全局特征以提高表情识别的性能,提出自适应加权的完全局部二值模式（Adaptively Weighted Compound Local Binary Pattern,AWCLBP）的人脸表情识别算法。首先对人脸表情图像进行预处理分离出表情子区域,与此同时生成表情子区域的贡献度图谱（Contribution Map,CM）;然后对表情子区域和整幅表情图像做完全局部二值模式变换提取三种特征（差值符号特征CLBP_S、差值幅值特征CLBP_M、中心像素特征CLBP_C）并连接三种特征生成级联直方图,并根据CM对表情子区域的级联直方图进行加权和整张图像的直方图进行融合;最后用卡方距离和最近邻方法进行分类识别。本算法在JAFFE库上做了实验并和LBP、Gabor小波、活动外观模型进行了比较,验证了本算法的有效性。     

结合加权局部旋度模式的3维人脸表情识别

目的 3维人脸的表情信息不均匀地分布在五官及脸颊附近,对表情进行充分的描述和合理的权重分配是提升识别效果的重要途径。为提高3维人脸表情识别的准确率,提出了一种基于带权重局部旋度模式的3维人脸表情识别算法。方法 首先,为了提取具有较强表情分辨能力的特征,提出对3维人脸的旋度向量进行编码,获取局部旋度模式作为表情特征;然后,提出将ICNP（interactive closest normal points）算法与最小投影偏差算法结合,前者实现3维人脸子区域的不规则划分,划分得到的11个子区域保留了表情变化下面部五官和肌肉的完整性,后者根据各区域对表情识别的贡献大小为各区域的局部旋度模式特征分配权重;最后,带有权重的局部旋度模式特征被输入到分类器中实现表情识别。结果 基于BU-3DFE 3维人脸表情库对本文提出的局部旋度模式特征进行评估,结果表明其分辨能力较其他表情特征更强;基于BU-3DFE库进行表情识别实验,与其他3维人脸表情识别算法相比,本文算法取得了最高的平均识别率,达到89.67%,同时对易混淆的“悲伤”、“愤怒”和“厌恶”等表情的误判率也较低。结论 局部旋度模式特征对3维人脸的表情有较强的表征能力; ICNP算法与最小投影偏差算法的结合,能够实现区域的有效划分和权重的准确计算,有效提高特征对表情的识别能力。试验结果表明本文算法对3维人脸表情具有较高的识别率,并对易混淆的相似表情仍具有较好的识别效果。     

Facial expression recognition based on local region specific features and support vector machines

Facial expressions are one of the most powerful, natural and immediate means for human being to communicate their emotions and intensions. Recognition of facial expression has many applications including human-computer interaction, cognitive science, human emotion analysis, personality development etc. In this paper, we propose a new method for the recognition of facial expressions from single image frame that uses combination of appearance and geometric features with support vector machines classification. In general, appearance features for the recognition of facial expressions are computed by dividing face region into regular grid (holistic representation). But, in this paper we extracted region specific appearance features by dividing the whole face region into domain specific local regions. Geometric features are also extracted from corresponding domain specific regions. In addition, important local regions are determined by using incremental search approach which results in the reduction of feature dimension and improvement in recognition accuracy. The results of facial expressions recognition using features from domain specific regions are also compared with the results obtained using holistic representation. The performance of the proposed facial expression recognition system has been validated on publicly available extended Cohn-Kanade (CK+) facial expression data sets.     

Multi-view human activity recognition based on silhouette and uniform rotation invariant local binary patterns

This paper addresses the problem of silhouette-based human activity recognition. Most of the previous work on silhouette based human activity recognition focus on recognition from a single view and ignores the issue of view invariance. In this paper, a system framework has been presented to recognize a view invariant human activity recognition approach that uses both contour-based pose features from silhouettes and uniform rotation local binary patterns for view invariant activity representation. The framework is composed of three consecutive modules: (1) detecting and locating people by background subtraction, (2) combined scale invariant contour-based pose features from silhouettes and uniform rotation invariant local binary patterns (LBP) are extracted, and (3) finally classifying activities of people by Multiclass Support vector machine (SVM) classifier. The rotation invariant nature of uniform LBP provides view invariant recognition of multi-view human activities. We have tested our approach successfully in the indoor and outdoor environment results on four multi-view datasets namely: our own view point dataset, VideoWeb Multi-view dataset [28], i3DPost multi-view dataset [29], and WVU multi-view human action recognition dataset [30]. The experimental results show that the proposed method of multi-view human activity recognition is robust, flexible and efficient.     

基于矩阵模式的人脸表情识别

提出了一种基于矩阵模式的人脸表情识别方法。该算法直接将人脸表情图像矩阵作为矩阵模式,并结合传统PCA和FLDA进行表情特征提取,称之为MatPCA和MatFLDA。与2DPCA等不同,该算法既利用图像矩阵中的行向量间的信息,也充分利用列向量间的信息,尽可能地保留了原始的表情信息。基于JAFFE和CED-WYU（1.0）两个表情数据库的识别结果表明,基于矩阵模式的特征提取方法能有效地提高识别率并节省计算时间。     

判别性完全局部二值模式人脸表情识别

针对完全局部二值模式（CLBP）存在直方图维数过高和特征冗余,会导致识别速度降低和识别率低的问题,提出基于有判别力的完全局部二值模式（Discriminative completed LBP,disCLBP）的人脸表情识别算法。首先,对人脸表情图像进行预处理获得表情子区域;然后提取表情子区域和整幅图像的disCLBP特征,针对不同的表情筛选出不同的表情特征,再将筛选出的表情子区域特征直方图融合;最后用最近邻分类器进行分类识别。该算法在CK人脸表情库上进行实验的平均识别率为97.3%。     

采用Adaboost算法进行面部表情识别

Adaboost是一种有效的分类器组合方法，它能够提高弱分类器的分类性能。利用Adaboost方法对面部表情进行识别，探讨了Adaboost与主成分分析法的几种结合方案。仿真结果表明这几种方案可行，且识别效果较好。     

基于分类器联合的表情识别

提出了一种基于分类器联合的人脸表情识别方法。首先采用CKFD算法在双决策子空间中提取两类表情特征并融合;分别利用最近邻、最小距离和神经网络三种子分类器进行识别;最后运用模糊积分对子分类器的识别结果进行融合。基于JAFFE的实验结果表明,它是一种有效的表情识别方法。     

基于CBP-TOP特征的人脸表情识别*

针对人脸表情时空域特征信息的有效提取,本文提出了一种CBP-TOP（Centralized Binary Patterns From Three Orthogonal Panels）特征和SVM分类器相结合的人脸表情识别新方法。该方法首先将原始图像序列进行图像预处理,包括人脸检测、图像截取和图像尺度归一化,然后用CBP-TOP算子对图像序列进行分块提取特征,最后采用SVM分类器进行表情识别。实验结果表明,该方法能更有效提取图像序列的运动特征和动态纹理信息,提高了表情识别的准确率。和VLBP特征相比, CBP-TOP特征在表情识别中具有更高的识别率和更快的识别速度。