基于统计模型与Gabor小波的人脸对齐

将基于Gabor小波的人脸特征点跟踪算法与基于统计模型的主动外观模型AAM人脸特征点定位方法结合起来,实现视频中人脸的自动对齐。先利用Gabor小波进行特征点跟踪,其结果作为AAM的初始形状。利用AAM的全局形状和纹理信息作为约束,对Gabor小波的局部跟踪错误进行校正。实验表明,该方法是有效的。     

基于主动表观模型姿态矫正和局部加权匹配人脸识别

非约束环境下,光照、姿态、表情、遮挡等复杂背景因素给人脸识别带来严重影响。提出一种基于AAM（active appearance model）的图像对齐和局部匹配人脸识别算法,使之能够增强人脸识别算法对姿态、表情变化的鲁棒性。AAM能够快速准确地定位人脸的特征点,进而将图像扭转到一个标准正面人脸模型中。接着,提出一种新的基于信息熵的Gabor jet加权方法用于提高人脸识别率;并且对Borda count分类器组合方法进行了改进,认为在投票过程中为其设置阈值来排除“噪声”的干扰可以提高识别率。通过与多种人脸识别方法的实验结果比较表明,使用AAM矫正图像后,联合熵加权Gabor方法和加阈值Borda能够取得比单独使用更好的成绩。     

Robust facial feature tracking under varying face pose and facial expression

This paper presents a hierarchical multi-state pose-dependent approach for facial feature detection and tracking under varying facial expression and face pose. For effective and efficient representation of feature points, a hybrid representation that integrates Gabor wavelets and gray-level profiles is proposed. To model the spatial relations among feature points, a hierarchical statistical face shape model is proposed to characterize both the global shape of human face and the local structural details of each facial component. Furthermore, multi-state local shape models are introduced to deal with shape variations of some facial components under different facial expressions. During detection and tracking, both facial component states and feature point positions, constrained by the hierarchical face shape model, are dynamically estimated using a switching hypothesized measurements (SHM) model. Experimental results demonstrate that the proposed method accurately and robustly tracks facial features in real time under different facial expressions and face poses.     

A graphical model based solution to the facial feature point tracking problem

In this paper a facial feature point tracker that is motivated by applications such as human-computer interfaces and facial expression analysis systems is proposed. The proposed tracker is based on a graphical model framework. The facial features are tracked through video streams by incorporating statistical relations in time as well as spatial relations between feature points. By exploiting the spatial relationships between feature points, the proposed method provides robustness in real-world conditions such as arbitrary head movements and occlusions. A Gabor feature-based occlusion detector is developed and used to handle occlusions. The performance of the proposed tracker has been evaluated on real video data under various conditions including occluded facial gestures and head movements. It is also compared to two popular methods, one based on Kalman filtering exploiting temporal relations, and the other based on active appearance models (AAM). Improvements provided by the proposed approach are demonstrated through both visual displays and quantitative analysis.     

一种鲁棒高效的人脸特征点跟踪方法

人脸特征点跟踪能获取除粗略的人脸位置和运动轨迹以外的人脸部件的精确信息,对计算机视觉研究有重要作用.主动表象模型(Active appearance model, AAM)是描述人脸特征点位置的最有效的方法之一,但是其高维参数空间和梯度下降优化策略使得AAM对初始参数敏感,且易陷入局部极值. 因此,基于传统AAM的人脸特征点跟踪方法不能同时较好地解决大姿态、光照和表情的问题.本文在多视角AAM的框架下,提出一种结合随机森林和线性判别分析(Linear discriminate analysis, LDA)的实时姿态估计算法对跟踪的人脸进行姿态预估计和更新,从而有效地解决了视频人脸大姿态变化的问题.提出了一种改进的在线表象模型(Online appearance model, OAM)方法来评估跟踪的准确性,并自适应地通过增量主成分分析(Principle component analysis, PCA) 学习来更新AAM的纹理模型,极大地提高了跟踪的稳定性和模型应对光照和表情变化的能力.实验结果表明,本文算法在视频人脸特征点跟踪的准确性、鲁棒性和实时性方面都有良好的性能.     

一种基于局部Gabor滤波器组及PCA＋LDA的人脸表情识别方法

针对传统的Gabor滤波器组存在特征提取时间较长以及特征数据存在冗余性的缺点,提出了一种新颖的局部Gabor滤波器组。为了评估该方法的识别性能,提出了一个基于Gabor特征的人脸表情识别系统。该系统首先对经过预处理之后的纯表情图像提取Gabor特征,然后用PCA LDA方法对采样后的特征进行特征选择,最后采用K近邻分类方法识别人脸表情。实验结果表明,这种方法无论在计算量还是识别性能上都比传统的Gabor滤波器组更具有优势。该方法的创新之处在于选取局部Gabor滤波器,最高平均识别率达到了97.33%,表明其适合于人脸表情图像的分析。     

基于强跟踪滤波器预测的主动表观模型人脸特征点跟踪

利用主动表观模型(AAM)可以对视频序列中人脸进行特征点定位,当目标对象与初始位置偏离过大时,就会使拟合过程陷入局部最小,使迭代无法收敛到正确位置,造成定位失败。针对此问题,提出了一种基于强跟踪滤波器(STF)预测的AAM(STF-AAM)人脸特征点跟踪方法。首先,将视频中头部运动看成动态系统,然后利用强跟踪滤波器对其进行预测跟踪,从而找到每一帧的拟合初始位置并进行拟合运算。由于视频序列中每一帧中的拟合初始位置都能被快速找到,从而取得了比较精确、快速的跟踪结果。实验结果表明,所提方法与传统方法相比在保证拟合精度的同时,提高了算法的跟踪定位速度。     

基于混合特征和分类树的细微表情识别方法

目前多数人脸表情识别的研究仅限于6种基本表情,未考虑到人脸表情变化是细微的.因此提出了基于混合特征和分类树的细微表情识别方法.对眼睛区域采用Gabor小波变换提取纹理变化特征,对鼻子区域采用2D-DCT提取纹理变化特征,而对嘴巴区域采用改进的AAM提取形状变化特征.分类识别时,将易混淆表情先归为一类进行表情的粗分类,然后对类内的表情选择相应表情贡献较大的特征子区域中的特征,进行表情细分类.在每级分类识别过程中,对每个区域采用离散HMM得出表情概率,最后采用在训练阶段得到的贡献权值进行加权融合得到分类结果.实验结果表明,该方法能够得到较好的识别效果,且处理速度快,适合于实时图像序列的细微表情识别.     

基于MR-AAM双重拟合的人脸特征点定位方法

传统的主动表观模型(AAM)反向组合算法仅进行了单次拟合过程,当初始位置与目标对象偏移过大时,往往会陷入局部最小,难以收敛到正确位置。针对此问题,提出了一种基于多分辨率AAM(MR-AAM)的双重拟合方法,首先在低分辨率模型下进行第一次拟合以确定面部初始位置,然后在高分辨率模型下进行二次拟合。由于能够快速获得较准确的初始位置,进而取得较好的人脸特征标定结果。实验结果表明,所提方法与传统方法相比,在能保证实时的情况下,提高了拟合精度。     

一种加权矩形提取表情特征的方法*

表情特征提取是面部表情识别的一个关键步骤。针对目前特征提取效率低的情况,通过分析Gabor特征提取的性质和积分图像计算效率高的特点,提出一种利用积分图像技术和矩形模板计算面部特征点特征的方法,模板模拟Gabor的多尺度性,每个模板定义相应的权值,表情图像按照Gabor的各个方向旋转,使用旋转图像积分图和加权模板而不是在积分图上旋转模板提取特征点的特征值,最后将此特征值用于表情分类。实验结果表明,该方法在识别结果相当的情况下极大地提高了特征提取的效率。     

基于Gabor变换和Zernike矩的人脸特征提取方法

针对目前常用的三种人脸特征提取方法中存在的识别率低、抗噪性较弱的问题,提出一种基于Gabor变换和Zernike矩的人脸特征提取方法.该方法首先对人脸进行多分辨的Gabor变换,然后利用Zernike矩获得具有平移、尺度、旋转不变性的特征,并用线性判别分析(LDA)方法进一步进行特征选择,最后采用K最近邻分类方法进行人脸的识别.实验结果表明,在与常用的三种人脸特征提取方法的比较中,该方法具有更高的识别率和更强的抗噪性能.     

A Unified Gradient-Based Approach for Combining ASM into AAM

Active Appearance Model (AAM) framework is a very useful method that can fit the shape and appearance model to the input image for various image analysis and synthesis problems. However, since the goal of the AAM fitting algorithm is to minimize the residual error between the model appearance and the input image, it often fails to accurately converge to the landmark points of the input image. To alleviate this weakness, we have combined Active Shape Models (ASM) into AAMs, in which ASMs try to find correct landmark points using the local profile model. Since the original objective function of the ASM search is not appropriate for combining these methods, we derive a gradient based iterative method by modifying the objective function of the ASM search. Then, we propose a new fitting method that combines the objective functions of both ASM and AAM into a single objective function in a gradient based optimization framework. Experimental results show that the proposed fitting method reduces the average fitting error when compared with existing fitting methods such as ASM, AAM, and Texture Constrained-ASM (TC-ASM) and improves the performance of facial expression recognition significantly.     

局部特征脸型分类方法

本文针对传统脸型分类算法特征点定位不准和过度依赖轮廓曲线的问题,提出了一种人脸轮廓圆形邻域局部特征表达方式和脸型分类模型。首先,初步定位脸型轮廓特征点;然后,在特征点周围选取三重八连通圆形邻域,通过计算一级邻域、拓展邻域与中心区域间的纹理变化,生成二进制编码序列,构造脸型局部特征向量;最后,设计OVO-RBF-SVM多分类模型,实现脸型分类。本文方法在CAS-PEAL人脸库上进行脸型类型判别,获得了94.28%的准确率;在相同情况下,分别与基于主动形状模型和基于下颌曲线模型的脸型类型判别方法进行对比,准确率分别提高了6.64%和6.58%。本文所研究的方法在一定程度上解决了特征点定位相对不准确导致误差增加的问题,同时尽可能多利用图片原始信息,保证轮廓特征提取的准确率,具有较强的鲁棒性。通过实验证明本文方法适用于脸型分类。     

一种鲁棒的全自动人脸特征点定位方法

人脸特征点定位的目标是能够对人脸进行全自动精确定位. 主动形状模型(Active shape modal, ASM)和主动表象模型(Active appearance modal, AAM)的发表为全自动人脸特征点定位工作提供了很好的思路和解决框架. 之后很多研究工作也都在ASM和AAM的框架下进行了改进. 但是目前的研究工作尚未很好地解决人脸表情、光照以及姿态变化情况下的人脸特征点定位问题, 本文基于ASM框架提出了全自动人脸特征点定位算法. 和传统ASM方法以及ASM的改进方法的不同在于: 1)引进有效的机器学习方法来建立局部纹理模型. 这部分工作改进了传统ASM方法中用灰度图像的梯度分布进行局部纹理建模的方法, 引入了基于随机森林分类器和点对比较特征的局部纹理建模方法. 这种方法基于大量样本的统计学习, 能够有效解决人脸特征点定位中光照和表情变化这些难点; 2)在人脸模型参数优化部分, 本文成功地将分类器输出的结果结合到人脸模型参数优化的目标函数当中, 并且加入形状限制项使得优化的目标函数更为合理. 本文在包含表情、光照以及姿态变化的人脸数据上进行实验, 实验结果证明本文提出的全自动人脸特征点定位方法能够有效地适应人脸的光照和表情变化. 在姿态数据库上的测试结果说明了本算法的有效性.     

Gabor频率对人脸特征定位的影响研究

中心频率位于高频段的Gabor滤波器具有较小的窗口,描述图像的局部特征,满足特征点表示的独立性要求;图像的高频信息随位置的不同有显著的变化。所以,在利用Gabor小波变换系数对人脸图像的特征点进行定位时,图像的高频信息更有利于特征点的定位。本文研究了不同频率的Gabor及其组合对特征点定位的影响,通过分析和试验得到了有利于人脸特征定位的Gabor频率组合。     

联合Gabor误差字典和低秩表示的人脸识别算法

针对人脸图片的遮挡、伪装、光照及表情变化等问题,根据Gabor特征对遮挡、伪装、光照及表情变化有着更强的鲁棒性的特点,提出了联合Gabor误差字典和低秩表示的人脸识别算法(GDLRR)。首先对训练样本和测试样本分别进行Gabor特征提取,并将这些特征组成待测试的特征字典;然后将一个单位阵进行Gabor特征提取并训练成一个更紧凑的Gabor误差字典;最后联合Gabor误差字典和训练特征字典对测试特征字典进行低秩表示后进行分类识别。各类实验表明,提出的改进算法对人脸识别的各类问题都有着更强的鲁棒性和更高的识别准确率。     

基于Gabor小波与深度信念网络的人脸识别方法

特征提取与模式分类是人脸识别的两个关键问题。针对人脸识别中的高维和小样本问题,从人脸特征的提取与降维算法入手,提出基于受限玻尔兹曼机(RBM)的二次特征提取及降维算法模型。首先把图像均匀分成若干局部图像块并进行量化,再对图像进行Gabor小波变换,通过RBM对得到的Gabor人脸特征进行编码,学习数据更本质的特征,从而达到对高维人脸特征降维的目的;并以此为基础提出基于深度信念网络(DBN)的多通道人脸识别算法。在ORL、UMIST和FERET人脸库上对不同样本规模和不同分辨率的图像进行实验,识别结果表明,与采用线性降维和浅层网络的方法相比,所提方法取得了较好的学习效率和很好的识别效果。     

Pose-Robust Facial Expression Recognition Using View-Based 2D $+$ 3D AAM

This paper proposes a pose-robust face tracking and facial expression recognition method using a view-based 2D 3D active appearance model (AAM) that extends the 2D 3D AAM to the view-based approach, where one independent face model is used for a specific view and an appropriate face model is selected for the input face image. Our extension has been conducted in many aspects. First, we use principal component analysis with missing data to construct the 2D 3D AAM due to the missing data in the posed face images. Second, we develop an effective model selection method that directly uses the estimated pose angle from the 2D 3D AAM, which makes face tracking pose-robust and feature extraction for facial expression recognition accurate. Third, we propose a double-layered generalized discriminant analysis (GDA) for facial expression recognition. Experimental results show the following: 1) The face tracking by the view-based 2D 3D AAM, which uses multiple face models with one face model per each view, is more robust to pose change than that by an integrated 2D 3D AAM, which uses an integrated face model for all three views; 2) the double-layered GDA extracts good features for facial expression recognition; and 3) the view-based 2D 3D AAM outperforms other existing models at pose-varying facial expression recognition.     

基于Gabor和二值叠加CS-LBP特征的人脸表情识别

在表情识别中Gabor结合局部二值模式（LBP）的特征提取方法以及直方图统计降维虽然是较为局部化的方法,但LBP鲁棒性较差,识别精度不高,而且使用直方图统计来区分表情,其计算复杂度和特征维数依旧较高。中心对称局部二值模式（CS-LBP）与LBP相比具有较好的鲁棒性,但其对表情纹理细节的描述仍不够详细。因此提出基于Gabor结合改进的CS-LBP即二值叠加中心对称局部二值模式（二值叠加CS-LBP）的特征提取方法。用Gabor提取特征,同时用两种计算方式提取两个特征值并叠加,作为最终识别的特征;并通过离散余弦变换（DCT）降维,有效降低表情的特征维数。在JAFFE表情库中实验验证了该方法能有效提高识别精度。     

基于Hessian矩阵和Gabor函数的局部兴趣点检测

局部特征方法是基于内容的图像与视频检索的重要方法。提出一种新的基于Hessian矩阵和Gabor函数的尺度不变局部特征点检测方法(Hessian-Gabor Detector)。该方法首先利用基于Hessian矩阵的检测子定位图像在空间域上的候选特征点位置,然后用基于Gabor函数的算子检测候选兴趣点在尺度空间的特征尺度,从而获得具有尺度不变特性的局部特征点。实验证明,与DOG、Harris-Laplace等方法相比,计算简单。应用于图像匹配中,能够显著地提高匹配效率。