人脸表情识别综述

作为生物特征识别与情感计算领域的一个极富挑战性的交叉课题,人脸表情自动识别技术在各种应用的推动下发展很快,但鲁棒的自动人脸表情识别系统至今尚未建立.人脸表情识别的3个关键环节是人脸检测(定位)、脸部表情特征提取和人脸表情的情感分类.目前上述环节上均取得了重要进展.本文就这三方面分别进行了分类总结。     

基于SVM的人脸表情识别

以人脸表情视频序列为研究对象,介绍了人脸表情识别的一般过程,给出了基于SVM的人脸表情识别方法,讨论了面部表情强度度量方法。通过分析人脸表情的变化,在L-K光流算法基础上应用修正的特征点跟踪方法提取面部特征信息,使用SVM建立人脸表情模型和强度模型,进行表情识别,并对高兴表情进行强度等级分类。实验结果证明了提出方法的有效性。     

基于l_1正则化RanBoost的人脸表情识别及程度估计(英文)

鉴于之前的大多数工作仅仅局限于人脸的表情识别,在本文中,我们提出了一种基于排序模型的创新性人脸表情识别方法。与之前的方法不同的是,我们提出的方法不但能够做表情识别,而且能够估计表情的程度,而表情程度估计则对于理解人的情绪变化有很大的帮助。虽然精确标注表情的程度很困难,但是表情随时间变化的有序信息提供了相对的度量。基于这种观察,我们将表情程度估计问题转化为一个排序问题,并且用Rankboost建立排序模型。排序模型的输出可以直接用于程度估计,而且我们也可以将排序模型用于表情识别。为了进一步提高我们提出的方法的性能,我们将l1正则化引入到Rankboost中。在Cohn-Kanade数据库上进行实验,实验结果表明我们提出的方法与当前的方法比较,有着明显的优势。     

基于SKLLE和SVM 的人脸表情识别

为有效提取人脸表情图像特征并降低特征向量维数,该文提出一种基于监督核局部线性嵌入(Supervised Kernel Locally Linear Embedding,SKLLE)和支持向量机(Support Vector Machine,SVM)相结合的降维和分类方法.利用人脸表情图像数据本身的非线性流形结构信息和标签信息实现维数约简,提取低维嵌入特征用于人脸表情识别,采用支持向量机代替传统的K近邻分类器.基于JAFFE人脸表情图像库和Cohn-Kanade人脸表情数据库的实验结果表明,该方法可以很好地实现维数约简,达到较高的识别率,有效地提高了人脸表情识别的性能.     

基于表情活动单元的人脸模型自动适配

基于表情活动单元的人脸模型自动适配是极低码率可视电话模型基编码所必需的。本文提出的算法使用变形模板估计眼睛和嘴巴的特征,利用这些特征用Candide模型对人脸进行适配。本算法对人脸模型的全局适配没有旋转限制,而且表情活动单元的初值决定于模仿适配。算法在视频序列Akiyo和Miss America(GIF,10Hz)上实验、证明了其正确性和有效性。     

基于双向二维直接线性判别分析的人脸表情识别

提出基于双向二维直接线性判别分析的人脸表情识别新算法.新算法从水平和垂直两个方向对图像矩阵执行直接线性判别分析,从二维图像中提取图像协方差矩阵,降低特征维数,减少表示图像时所需要的系数及其存储空间.另外,不使用奇异值分解方法,便可得到图像协方差矩阵的特征向量,能够精确地估计图像协方差矩阵.在JAFFE人脸表情数据库中的试验结果表明,所提算法具有较高的识别率.     

基于特征提取的实时交互式三维人脸表情动画研究

动漫产业的发展带来了三维动画制作技术的发展，而人脸表情动画制作是决定动画质量的关键因素。文章在分析当前三维人脸表情动画设计存在问题和发展趋势的基础上，提出基于特征提取的实时交互式三维人脸表情动画设计方法，对三维动画中的人脸表情动画进行了有益的探索。     

基于ASM和Gabor小波的人脸表情识别算法

结合ASM与Gabor小波的优点,提出可以有效提取人脸特征的ASM_GW,并通过LDA算法进一步降低了运算量.最后利用JAFFE人脸表情库对算法进行仿真,通过实验说明算法的有效性.     

基于改进八度卷积算法的人脸表情识别

针对目前人脸表情识别存在准确率不高、模型复杂和计算量大的问题,文章提出了一种基于八度卷积改进的人脸表情识别模型(OCNN):使用改进的八度卷积进行特征提取,提高对细节特征的提取效果,降低特征图的冗余,在不增加参数的同时减少运算量,以提高特征提取性能;利用DyReLU激活函数来增强模型的学习和表达能力;使用自适应平均池化下采样层代替全连接层,以减少参数;将模型在大规模数据集上进行预训练,并在FER2013、FERPlus、RAF-DB数据集上进行模型性能验证实验。实验结果表明：训练后的模型权重为10.4 MB,在人脸表情识别数据集FER2013、FERPlus和RAF-DB上的准确率分别达到73.53%、89.58%和88.50%;与目前诸模型相比,OCNN模型的准确性高且计算资源消耗低,充分证明了该模型的有效性。     

基于特征脸和神经网络的人脸表情识别方法

当前人脸检测系统主要使用的是基于主成分分析算法和神经网络技术,本文提出了识别不同特征点的另一种技术,所提出的识别系统用来实现特征提取、主成分分析和人工神经网络,即用特征脸和主成分分析算法进行人脸识别.在主成分分析算法中,通过识别初始人脸图像集得到特征向量和特征脸,然后这些人脸被投射到特征脸上以计算权重,这些权重建立人脸数据库以便通过神经网络进行人脸识别.测试结果表明,其准确率达82.1%,达到了理想效果.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

多级细节信息融合的人脸表情识别

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型.在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,...     

基于核函数因素分解模型的表情合成与识别

人脸图像合成是新一代人机交互中的重要技术。传统的三维模型加生理模型的方法可以生成真实的人脸表情图像,但是其中的计算复杂度很高。该文提出了一种基于样本的方法,将不同的人和不同的表情看作影响人脸表情图像的两种变化因素,利用因素分解模型巧妙地进行人脸表情图像合成。同时,分析了因素分解模型获得的身份子空间和表情子空间的特点,提出了一种在子空间中利用余弦距离进行身份和表情识别的新思路。从实验结果来看,这里提出的方法可以仅利用一张训练集内、外的人脸图像合成出该人在不同表情下逼真的脸部表情图像,同时可以合成库内的人在新表情下的表情图像。     

基于MSVR和Arousal Valence情感模型的表情识别研究

通常的表情识别方法是对基本情绪进行表情分类,然而基本情绪对情感的表达能力有限。为了丰富情感的表达,研究采用Arousal-Valence情感模型,从心理学的角度对Arousal-Valence模型中Arousal维度和Valence维度之间的相关性进行了分析,并用统计学方法对AVEC2013,NVIE和Recola 3个数据集进行研究,实验结果表明它们之间具有正相关关系。为了利用Arousal-Valence 之间的相关性,采用多输出支持向量回归（multiple dimensional output support vector regression,MSVR）算法作为表情的训练和预测算法,并结合特征融合和决策融合提出了一种基于MSVR的两层融合表情识别方法。实验结果表明提出的表情识别方法比传统的方法能取得更好的识别效果。     

基于随机权重分配策略的面目表情识别

为了提高面部表情识别的精确度,提出了一种基于数据增强策略面部表情识别,区别于普通的在线随机数据增强,将实验用到的训练数据集采用附加不同的权重分配策略进行增强数据,并随机生成每次训练时的权重,保证其训练数据的多样性并通过比较实验结果得出哪种权重的分布策略适用于面部表情识别数据集的增强,同时解决了面部表情识别因数据集缺乏多样性识别精度不高等问题,提升了人脸表情识别的准确性和鲁棒性,此外还利用VGG19特征提取网络,通过从数据中学习鲁棒性和区分性特征,来实现高精度的面部表情识别。实验结果表明,使用该方式增强后的数据进行训练的模型在Fer2013和扩展Cohn-Kanade （CK+）数据库上对7种表情的识别率相比其原始数据集均有提升。     

基于面部肌肉特征的面部表情度量方法

基于对人类表情肌活动效果的归纳,采用一种新的面部特征构造描述面部状态。以支持向量机的后验概率作为依据,提出一种基于面部肌肉特征的面部表情度量方法,并对基于不同特征和不同面部素材库的决策模型进行对比实验。结果表明,相比其他的方法,基于新特征的度量方法能够对不同的面部表情产生具有足够区分度的度量,并能够以较高的准确率提取视频文件中”最夸张”的表情。     

基于DCNN的图像语义分割综述

图像的语义分割是计算机视觉中重要的基本问题之一,其目标是对图像的每个像素点进行分类,将图像分割为若干个视觉上有意义的或感兴趣的区域,以利于后续的图像分析和视觉理解.近年来,深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的出现,极大地推动了语义分割的发展.本文从语义分割的基本定义出发,对语义分割中存在的困难和挑战进行了分析和描述.总结了目前用于评测语义分割算法的典型数据库,并以PASCAL VOC数据库为主线对近年来基于DCNN的语义分割算法进行了梳理和总结.最后对语义分割未来的研究重点进行了探讨和预测.     

一种基于LNMF像素模式纹理特征的表情识别

采用一种基于像素模式纹理特征(PPBTF)的人脸特征表示方法对人脸图像进行了特征提取.首先,将原始的灰度图像转化成能够表征纹理信息的模式图,并且通过在特征窗内统计每一模式的像素个数得到其中心像素的特征矢量,然后将由局部非负矩阵分解(LNMF)得到的基本方程作为模板进行模式匹配.同时,将Adaboost和SVM结合起来,用做表情识别的分类器.最后,通过基于Cohn-Kanade数据库的实验证明了以LNMF基函数作为模板的PPBTF对表情识别具有较高的判别能力,并由基于PIE图像库等其他图像库的实验进一步验证了PPBTF对光照不敏感的特性,充分说明所提出的人脸表征方法的有效性和鲁棒性.     

基于多尺度特征选择网络的人脸表情识别

首先, 针对人脸表情识别问题提出一种新的多尺度特征选择网络识别方法, 该网络充分结合多尺度网络结构和特征选择结构的优点, 能更有效地提取面部静态图像中的空间信息. 其次, 为验证本文提出的多尺度特征选择网络的识别性能和泛化能力, 在两个经典的人脸表情识别数据集上与一些常用的方法进行对比和交叉验证实验. 实验结果表明, 该网络取得了更好的识别效果, 并且具有良好的泛化能力, 可以灵活地嵌入到人脸表情识别分析系统中.