基于局部区域方法的微表情识别

微表情（ME）的发生只牵涉到面部局部区域，具有动作幅度小、持续时间短的特点，但面部在产生微表情的同时也存在一些无关的肌肉动作。现有微表情识别的全局区域方法会提取这些无关变化的时空模式，从而降低特征向量对于微表情的表达能力，进而影响识别效果。针对这个问题，提出使用局部区域方法进行微表情识别。首先，根据微表情发生时所牵涉到的动作单元（AU）所在区域，通过面部关键点坐标将与微表情相关的七个局部区域划分出来；然后，提取这些局部区域组合的时空模式并串联构成特征向量，进行微表情识别。留一交叉验证的实验结果表明局部区域方法较全局区域方法进行微表情识别的识别率平均提高9.878%。而通过对各区域识别结果的混淆矩阵进行分析表明所提方法充分利用了面部各局部区域的结构信息，并有效摒除与微表情无关区域对识别性能的影响，较全局区域方法可以显著提高微表情识别的性能。     

采用时空注意力机制的人脸微表情识别

目的 微表情是人自发产生的一种面部肌肉运动,可以展现人试图掩盖的真实情绪,在安防、嫌疑人审问和心理学测试等有潜在的应用。为缓解微表情面部肌肉变化幅度小、持续时间短所带来的识别准确率低的问题,本文提出了一种用于识别微表情的时空注意力网络（spatiotemporal attention network,STANet）。方法 STANet包含一个空间注意力模块和一个时间注意力模块。首先,利用空间注意力模块使模型的注意力集中在产生微表情强度更大的区域,再利用时间注意力模块对微表情变化更大因而判别性更强的帧给予更大的权重。结果 在3个公开微表情数据集（The Chinese Academy of Sciences microexpression,CASME;CASME II;spontaneous microexpression database-high speed camera,SMIC-HS）上,使用留一交叉验证与其他8个算法进行了对比实验。实验结果表明,STANet在CASME数据集上的分类准确率相比于性能第2的模型Sparse MDMO（sparse main directional mean optical flow）提高了1.78%;在CASME II数据集上,分类准确率相比于性能第2的模型HIGO（histogram of image gradient orientation）提高了1.90%;在SMIC-HS数据集上,分类准确率达到了68.90%。结论 针对微表情肌肉幅度小、产生区域小、持续时间短的特点,本文将注意力机制用于微表情识别任务中,提出了STANet模型,使得模型将注意力集中于产生微表情幅度更大的区域和相邻帧之间变化更大的片段。     

一种多结构数据的同步拟合方法

计算机视觉领域,多结构模型参数的提取是一个常见任务。传统的提取算法一般先对输入数据集进行分类,然后通过对相关数据类的拟合获得对模型集参数的估计。然而,由于模型集未知,对如何实现数据集的准确划分一直是一个难点。针对这个问题,借鉴免疫系统识别抗原产生抗体的工作机理,提出了一种启发式的鲁棒回归分析方法。该方法将数据集的分类过程设计成一个逐步精确化的逼近过程：先通过随机抽样模型对数据集进行粗略划分,然后利用单模型鲁棒回归方法对各数据类中的优势数据进行尝试建模,以获得更好的模型估计。接着以此模型为基础重新对数据集进行划分,以提高分类的准确性。通过这种“分类”、“提纯”、“再分类”、“再提纯”的反复尝试,逐步逼近准确的数据类划分,同时得到模型集的准确解。仿真结果表明,该方法计算时间少,数据分类准确率高,具有较强的多结构模型参数提取能力。     

基于系统调用序列的“非我”分类

针对仿生免疫系统模型（GECISM）中已识别出的“非我”入侵程序,介绍了基于系统调用序列根据入侵行为进行分类的方法。通过对训练集提取规则,建立“非我”类的特征库,从而判断出“非我”程序所属的“非我”类。实验验证了这一方法的可行性和有效性。     

微表情识别研究综述

微表情是人类在试图掩饰自己情感时所产生的面部细微变化,在测谎、安防、心理学治疗和微表情识别机器人等方面有着非常广泛的应用,因此微表情识别也开始得到重视。从微表情识别的主流的方法：卷积神经网络及其改进、光流法及其改进、局部二值模式及其改进方法进行分析,对现存的几种方法从使用的算法、准确率、各方法的优缺点、各方法的特点等几个角度进行对比总结;阐述微表情识别目前存在的问题,并对未来的发展方向进行展望。     

基于ADCP-TOP的微表情识别方法

微表情识别的难点是情绪持续时间短,面部动作变化微小。为此,提出一种基于相邻双交叉局部二值模式(ADCP-TOP)的微表情识别方法,针对微表情特点将邻域像素之间关系引入,使得对细节信息提取更丰富,捕捉微小变化能力增强。通过对奇偶位置的采样点分开编码,将结构信息量化,在保证信息量增加的同时使维度减小,并增强鲁棒性。此外,通过面部动作单元划分细粒度感兴趣区域(FROI)提取ADCP-TOP特征,以进一步增强对细节信息提取能力。最后,在SMIC和CASME2数据库中的实验表明,提出的识别方法取得更高识别率。     

精英化岛屿种群引导的差分进化算法

针对差分进化算法常见的早熟收敛、搜索停滞和求解精度低的问题,研究一种精英化岛屿种群的差分进化算法（EIDE）。为了实现全局搜索与局部搜索能力并重,EIDE划分多个岛屿种群,根据迭代时的适应度情况,动态地将岛屿种群分类为精英岛屿和普通岛屿;针对精英岛屿,提出一种控制参数自适应方法,依据岛屿适应度情况,自适应地调整变异概率与交叉概率,同时算法利用增强局部搜索的变异策略,提高收敛速度与精度;针对普通岛屿,使用适合全局搜索的变异与交叉概率及变异策略,维护种群多样性。EIDE提出了一种可控的“移民”与“个体迁移”策略,控制优质基因流动,有效避免早熟收敛与搜索停滞问题。在9个benchmark函数上的测试结果表明,新算法具有较强的全局寻优能力与稳定性,且收敛速度较快。     

基于鬼影判断抑制和局部运动补偿的改进ViBe算法

传统的ViBe算法在检测运动目标时会产生“鬼影”现象,并且对只存在局部运动的目标无法检测出完整的结果。已有的改进算法在克服上述缺陷时没有进行缺陷类型的判断使得在一定程度上降低了算法的性能。因此,针对“鬼影”现象,本文提出先利用边缘相似性进行“鬼影判断”,之后结合三帧差分算法来消除鬼影。针对局部运动目标,本文提出一种结合检测阈值判断的方法,先确定是否存在身体局部运动,之后结合扫描线填充算法对目标进行补偿填充得到完整的运动目标。实验结果表明,本文算法能有效克服“鬼影”及局部运动的缺陷,提高目标检测的效率以及准确性。     

一种定量评估复杂网络节点重要度的算法

提出一种定量评估复杂网络节点重要度的算法,定义虚拟的理想“核心节点”,将灰色关联度作为测度,评价网络中每个节点和理想“核心节点”的关联度,关联度越高,节点在网络中的重要性越大。仿真结果表明,与同类算法相比,该算法运算速度更快,适用于评价大型复杂网络中节点的重要度。     

基于AU-GCN与注意力机制的微表情识别

微表情作为一种持续时间非常短的表情，能够隐晦地将人试图压抑与隐藏的真正情感表达出来，在国家安全、司法系统、医学范畴和政治选举等有着较好的应用。但由于微表情有着数据集较少、持续时间短暂、表情幅度低等特点，在识别微表情时存在数据样本量较少、计算量较大、缺失重点特征的关注、易过拟合等困难。因此本文将针对微表情只出现在面部部分区域的特点，借助面部动作单元（Action Units,AU），对其使用加权注意力机制凸显局部特征，并且应用图卷积神经网络找到AU各个节点间的依赖关系，聚合为全局特征，用于微表情识别。实验结果表明，相较于现有方法，本文提出的方法将准确率提高至79.3%。     

基于多任务中级特征个性化学习的微表情识别

微表情是一种短暂的面部表情，揭示了一个人试图隐藏的真实情感。对现有的一种多任务中级特征学习方法进行了改进，提出了一种多任务中级特征个性化学习方法用于微表情识别。对于每个低级特征，计算类内[k]最近邻时，去除同一人的同类微表情；计算类间[k]最近邻时，保留同一人的不同类表情，并减小[k]值。采用个性化学习方法，生成具有更多判别信息的中级特征。在微表情数据集CASME2上的实验表明，所提出的方法具有更好的识别性能。     

细粒度分层时空特征描述符的微表情识别方法

由于微表情持续时间小于0.5?s、非自愿性和低强度等特点,微表情识别仍然是具有挑战性的任务。对分层时空特征描述符进行改进,提出一种新的细粒度分层时空特征的微表情识别方法。提取微表情视频片段中的各层次时空特征,利用投影矩阵建立时空特征和微表情之间的联系,进而选择对识别任务有贡献的区域。然后统计具有整体最大贡献度的层次,将该层次下选中的区域块和前一层选中的区域块进行交集操作,达到去除分层时空特征的空间冗余性和提升微表情特征区分度的目的。在CASME[Ⅱ]上的实验表明,提出的方法能够细粒度化微表情发生区域,获得了更好的识别结果。     

人脸微表情分析方法综述

微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快，导致人工分析难度较大，开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展，研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状，从多个角度对微表情分析的两大分支，即微表情检测方法和微表情识别方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同，从基于时间特征、基于特征变化和基于深度特征这3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法，其中，基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较，在此基础上，探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

Automatic expression spotting in videos

In this paper, we propose a novel solution for the problem of segmenting macro- and micro-expression frames (or retrieving the expression intervals) in video sequences, which is a prior step for many expression recognition algorithms. The proposed method exploits the non-rigid facial motion that occurs during facial expressions by capturing the optical strain corresponding to the elastic deformation of facial skin tissue. The method is capable of spotting both macro-expressions which are typically associated with expressed emotions and rapid micro- expressions which are typically associated with semi-suppressed macro-expressions. We test our algorithm on several datasets, including a newly released hour-long video with two subjects recorded in a natural setting that includes spontaneous facial expressions. We also report results on a dataset that contains 75 feigned macro-expressions and 37 feigned micro-expressions. We achieve over a 75% true positive rate with a 1% false positive rate for macro-expressions, and a nearly 80% true positive rate for spotting micro-expressions with a .3% false positive rate.     

A survey: facial micro-expression recognition

Facial expression recognition plays a crucial role in a wide range of applications of psychotherapy, security systems, marketing, commerce and much more. Detecting a macro-expression, which is a direct representation of an ‘emotion,’ is a relatively straight-forward task. Playing a pivotal role as macro-expressions, micro-expressions are more accurate indicators of a train of thought or even subtle, passive or involuntary thoughts. Compared to macro-expressions, identifying micro-expressions is a much more challenging research question because their time spans are narrowed down to a fraction of a second, and can only be defined using a broader classification scale. This paper is an all-inclusive survey-cum-analysis of the various micro-expression recognition techniques. We analyze the general framework for micro-expression recognition system by decomposing the pipeline into fundamental components, namely face detecting, pre-processing, facial feature detection and extraction, datasets, and classification. We discuss the role of these elements and highlight the models and new trends that are followed in their design. Moreover, we provide an extensive analysis of micro-expression recognition systems by comparing their performance. We also discuss the new deep learning features that can, in the near future, replace the hand-crafted features for facial micro-expression recognition. This survey has been developed, focusing on the methodologies applied, databases used, performance regarding recognition accuracy and comparing these to distil the gaps in the efficiencies, future scope, and research potentials. Through this survey, we intend to look into this problem and develop a comprehensive and efficient recognition scheme. This study allows us to identify open issues and to determine future directions for designing real-world micro-expression recognition systems.     

基于改进特征融合的微表情识别方法

微表情的变化是非常微小的,这使得微表情的研究非常困难。微表情是不能伪造和压制的,因此也成为判断人们主观情感的重要依据。本文提出了以卷积神经网络及改进长短时记忆网络特征融合为依托的微表情识别方法,先介绍了相关的背景知识,再介绍了实验的预处理过程、特征提取以及相应的特征融合的过程,将所得的结果用于实验模型的预测分类。实验结果表明,新模型具有更好的识别率。     

基于三维卷积神经网络和峰值帧光流的微表情识别算法

针对现有微表情识别技术未能有效利用峰值帧前后时间空间特征的缺点,文中提出基于三维卷积神经网络和峰值帧光流的微表情识别算法.首先,提取峰值帧前后相邻帧间的光流场,在保留微表情重要时间、空间信息的同时,去除冗余信息,减少计算量.然后,利用三维卷积神经网络,从光流场中提取增强的时空特征,实现微表情的分类识别.最后,通过在3个微表情数据库上的对比实验证实文中算法准确度较高.