基于图卷积神经网络的面部动作单元检测

情绪识别已广泛应用于教学效果评估和心理疾病检测等场景,面部动作单元检测是情绪识别的关键步骤。在图卷积神经网络基础上,融合残差网络（Residual Network,ResNet）、压缩激励网络（Squeeze and Excitation Networks,SENet）、全卷积神经网络（Fully Convolutional Networks,FCN）4种网络结构,建立带有注意力机制的面部动作单元检测模型,并在丹佛大学自发面部运动单元数据库（Denver Intensity of Spontaneous Facial Action,DISFA）和CK+两个公共数据集上进行了验证实验。实验结果表明,该模型的性能优于传统面部动作单元检测模型。     

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元（action unit,AU）,用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。     

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法（semantic relationship embedded representation learning,SRERL）.在现有公开的面部动作单元检测数据集（BP4D、DISFA）和面部动作单元强度预测数据集（FERA2015、DISFA）上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.     

基于脑电传感器的面部动作识别研究

提出了一种利用脑电传感器进行面部动作识别的方案。相比传统的可见光、深度相机、肌电方案，该方案具有体验感好、识别准确率高的特点。通过分析面部动作对脑电传感器产生的干扰信号特点，给出了系统设计，描述了基于支持向量机进行模式识别与分类的算法，最后通过实验验证，证明了该方案可在少样本的条件下，实现高精度的面部动作识别。     

时序动作单元感知的开集动作识别

开集动作识别任务要求模型不仅能准确识别训练集中的类别,还能拒绝训练集上未出现的未知类动作.目前,大多数方法都将动作视为一个整体,忽略动作本身可被分解为更细粒度的动作单元.为此,文中提出时序动作单元感知的开集动作识别方法.首先,设计动作单元关系模块,学习细粒度的动作单元特征,得到动作和动作单元的关系模式,并通过已知类动作和未知类动作在动作单元上不同的激活程度识别未知类动作.然后,设计动作单元时序模块,建模动作单元的时序信息,研究动作单元的时序性,进一步区分因为外观相似而被混淆的已知类动作和未知类动作.最后,综合考虑关系模式与动作单元时序信息,使模型具备区分已知类动作和未知类动作的能力.在3个动作识别数据集上的实验表明,文中方法性能较优.     

一种基于遗传算法的飞行动作识别方法

提出了一种基于遗传算法的飞行动作识别方法,用于建立飞行动作自动识别专家知识库。通过对遗传算法的改进,能够快速获取飞参数据中的飞行动作数字特征,该方法能得到简练的飞行动作识别规则。仿真结果证明该方法具有较强的实用性和推广性。     

基于面部动作编码系统的表情生成对抗网络

用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元（AUs）,提出一种基于面部动作编码系统（FACS）的人脸表情生成对抗网络。将注意力机制融合到编码解码生成模块中,网络更加集中关注局部区域并针对性做出生成改变,使用了一种基于判别模块重构误差、分类误差和注意力平滑损失的目标函数。在常用BP4D人脸数据集上的实验结果表明,该方法可以更有效地关注各个动作单元对应区域位置并用单个AU标签控制表情生成,且连续AU标签值大小能控制表情幅度强弱,与其他方法相比,该方法所生成的表情图像细节保留更清晰且真实性更高。     

基于训练图CNN特征的视频人体动作识别算法

为将卷积神经网络(CNN)应用到视频理解中,提出一种基于训练图CNN特征的识别算法。利用图像RGB数据识别视频人体动作,使用现有的CNN模型从图像中提取特征,并采用长短记忆单元的递归神经网络进行训练分类,研究CNN模型和隐层的选择、优化、特征矢量化和降维。实验结果表明,与使用图像RGB数据注意力模型的算法和组合长短期记忆模型算法相比,该算法具有更高的准确率。     

基于动作捕捉传感器的民族舞蹈动作自动识别系统

针对传统舞蹈动作捕捉和自动识别准确率低的问题,设计一个基于动作捕捉传感器的民族舞蹈动作自动识别系统。系统通过构建人体动作数据库,为人体关节动作模型提供数据参考,利用传感器读取数据后,将读取数据置入三维人体动作模型中,将其与数据库中的标准动作进行匹配,找出舞蹈训练者的错误动作并进行纠正,以此实现舞蹈动作自动识别。测试结果表明,对比于其他动作识别系统,本系统在动作识别角度和关节点定位方面与Kinect标准值间的误差最小,识别准确率高达97.6%,综合分析可知,本系统可实现民族舞蹈动作的精准捕捉和自动识别,具有一定的有效性。     

基于三维图像动作识别算法研究

人体运动时的行为特征具有多样性和复杂性,无法采用精准的形状基描述人体行为的不确定性,进而无法构建人体三维运动模型,不能对人体三维图像动作进行准确的识别.传统方法假设人体运动的形状基数量稳定,人体运动行为具有复杂的形变特征,导致形状基参数出现波动,采用固定的形状基无法准确分析人体的复杂运动特征,使得人体三维图像动作识别存在较大的误差.提出一种Murkowski距离三维图像动作识别算法,依据人体运动时的物理特征将人体运动结构形状基参数处于Murkowski距离约束条件下,采用非线性优化方法进行求解获取人体三维行为特征,获取人体行为三维模型,进而实现对人体行为的准确判断.实验结果表明,改进算法能够对人体三维图像动作进行准确的识别,并且具有较高的精准度.     

人脸活动单元自动识别研究综述

人脸活动单元(action units,AU)的自动识别能应用于行为科学、人机交互、安全、医疗诊断等众多领域,近年来得到了广泛关注.文中阐述了AU自动识别的基本概念、一般过程及其主要特征提取和分类方法,介绍了具有AU编码的代表性人脸表情数据库,并对单个AU与AU组合的识别、AU强度与AU动态性分析的研究现状进行了评述.最后总结了目前AU自动识别研究中存在的主要难点,并展望了其发展方向.     

人脸表情识别研究进展

人脸表情识别(Facial Expression Recognition,FER)是计算机视觉、机器学习、人工智能等领域的重要研究方向,目前已经成为国内外学者的研究热点。介绍了FER系统流程,总结了表情特征提取和表情分类的常用方法以及近年来国内外学者对这些方法的改进,并对这些方法的优缺点进行比较。最后,对目前FER研究的难点问题进行了分析,并对FER未来的发展方向进行展望。     

人脸表情运动跟踪与表情识别算法

对于人脸视频中的每一帧,提出一种静态人脸表情识别算法,人脸表情运动参数被提取出来后,根据表情生理知识来分类表情;为了应对知识的不足,提出一种静态表情识别和动态表情识别相结合的算法,以基于多类表情马尔可夫链和粒子滤波的统计框架结合生理知识来同时提取人脸表情运动和识别表情.实验证明了算法的有效性.     

改进的遗传算法在车牌自动识别系统中的应用

在车牌自动识别系统中,如何选择对车牌字符分类能力强的特征组合是系统面临的关键问胚。针对传统组合优化方法用于特征选择的种种缺陷和简单遗传算法过早收敛的缺点,提出了利用伪并行、最优解保存和自适应参数调整相结合的改进的遗传算法对提取的车牌字符图像众多特征进行优化选择的策略。仿真实验证明,改进的遗传算法不但从收敛速度和搜索能力上优于简单的遗传算法,而且可以有效的避免出现早熟现象,防止陷入局部最优;所提出的特征选择算法不仅提高了车牌字符识别率。而且识别结果十分稳定。     

Simultaneous Facial Action Tracking and Expression Recognition in the Presence of Head Motion

The recognition of facial gestures and expressions in image sequences is an important and challenging problem. Most of the existing methods adopt the following paradigm. First, facial actions/features are retrieved from the images, then the facial expression is recognized based on the retrieved temporal parameters. In contrast to this mainstream approach, this paper introduces a new approach allowing the simultaneous retrieval of facial actions and expression using a particle filter adopting multi-class dynamics that are conditioned on the expression. For each frame in the video sequence, our approach is split into two consecutive stages. In the first stage, the 3D head pose is retrieved using a deterministic registration technique based on Online Appearance Models. In the second stage, the facial actions as well as the facial expression are simultaneously retrieved using a stochastic framework based on second-order Markov chains. The proposed fast scheme is either as robust as, or more robust than existing ones in a number of respects. We describe extensive experiments and provide evaluations of performance to show the feasibility and robustness of the proposed approach.     

拟人Agent面部复杂运动合成的研究与实现

在多维面部运动的形式化描述方法的基础上,分析了面部肌肉的运动特征和控制约束,提出了面部运动单元的概念,采用正向运动学和示教再现两种方法实现拟人Agent的基本面部运动,并通过运动合成产生复杂的面部运动。实验表明,正向运动学方法能精确控制面部运动并降低非自然表情的出现;示教再现方法自动产生面部运动简化了操作细节;运动合成则通过运动重用提高了面部运动生成的效率。     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

人脸表情识别的研究进展

人脸表情识别是人机交互、机器学习、智能控制和图像处理等领域涉及的重要研究方向,目前已成为国内外研究的热点。从人脸表情识别的特征提取和特征分类两方面出发,总结了国内外近几年人脸表情识别的进展状况。在特征提取阶段,根据所处理的图像的属性,分别从静态图像和动态图像两个方面总结人脸表情的特征提取算法,前者包括整体法和局部法,后者分为模型法、光流法和几何法。在分类器的设计上,以贝叶斯网络和距离度量两条理论主线,贯穿主要的方法。最后结合国内外最新的研究成果和应用领域,展望了人脸表情识别的发展。     

面部表情识别研究进展

面部表情识别是计算机视觉中一个具有挑战性的课题,该文对国内外面部表情识别做了系统综述与比较,分析了面部表情识别目前存在的问题,并对今后发展提出了几点思考.     

一种求解Fisher最佳鉴别矢量的新算法及人脸识别

Ｆｉｓｈｅｒ最佳鉴别矢量是高维模式分析中的有效方法,当训练样本数相对于特征空间的维数较小时,就成了小样本问题。为了求解小样本问题,人们提出了一系列方法并取得了的效果。但在类内距离为零的情况下民的方法均得不到最佳解,该文从理论上说明了这一点,并给一种在任何情况下都能得到最佳解的新算法,试验结果这样的推断。