基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

基于拉普拉斯算子的人脸表情克隆优化方法

针对人脸克隆表情的真实性和表情重建的效率,提出了一种基于运动捕捉数据的人脸表情克隆新方法。使用运动捕捉设备捕捉人脸六种基本表情数据,并对数据进行归一化处理,使其位于同一区间范围,保证克隆表情数据的有效性;在表现人脸表情的关键区域选取41个特征点,通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上,很好保留了人脸表情的细节,克服了均一权值保真度低和余切权值计算不稳定的问题。实验结果表明,该方法合成的克隆表情真实、自然,人脸表情克隆的效率得到了显著提高。     

真实感3D人脸表情合成技术研究进展

文中综述了真实感3D人脸表情合成技术的研究进展.根据所采用的技术,将人脸表情合成方法划分为混合样本人脸表情合成、直接表情迁移、基于sketch的人脸表情合成与编辑、基于机器学习的真实感人脸表情合成、高分辨率人脸表情和细节的提取与合成5类,介绍了各类方法的研究现状,并比较了它们的优缺点.最后进行了总结,并对人脸表情合成技术未来的研究方向予以展望.     

3DMM与GAN结合的实时人脸表情迁移方法

快速实时生成表情逼真、姿态自然的虚拟人脸一直是较为有挑战性的研究。提出一种基于3DMM与GAN结合的实时人脸表情迁移方法。通过目标人脸的一段表演视频,将表演人员与目标人脸关键点建立映射关系,使用二维RGB摄像头实时跟踪表演人脸关键点并利用GAN生成目标虚拟人脸特征点,进一步估计人脸姿态。利用3DMM构成二维到三维人脸模型的重建,实时渲染出当前姿态的二维人脸表情,再将表演人脸表情与目标人脸表情进行融合,生成表情逼真的目标人脸。对比实验表明,该方法能得到更为逼真的人脸表情,可以模仿出目标人脸真实的表情,同时也能够达到实时性,在创建逼真的视频方面实现了更大的灵活性。同时,提出一种针对人脸表情迁移仿真效果的验证方法可以客观评价仿真人脸的结果。     

人机交互中的人脸表情识别研究进展

随着人机交互与情感计算技术的快速发展,人脸表情识别已成为人们研究的热点。为了阐明人机交互中人脸表情识别的研究方向及进展,该文从人脸表情数据库、表情特征提取、表情分类方法、鲁棒的表情识别、精细的表情识别、混合表情识别、非基本表情识别等方面对人脸表情识别的研究现状进行了分析。最后总结了人脸表情识别研究的热点及趋势,同时指出了人脸表情识别研究存在的局限性,并对人脸表情识别的发展进行了展望。     

人脸表情识别综述

人脸表情识别作为情感计算的一个研究方向,构成了情感理解的基础,是实现人机交互智能的前提。人脸表情的极度细腻化消耗了大量的计算时间,影响了人机交互的时效性和体验感,所以人脸表情特征提取成为人脸表情识别的重要研究课题。总结了国内外近五年的人脸表情识别的稳固框架和新进展,主要针对人脸表情特征提取和表情分类方法进行了归纳,详细介绍了这两方面的主要算法及改进,并分析比较了各种算法的优势与不足。通过对国内外人脸表情识别应用中实际问题进行研究,给出了人脸表情识别方面仍然存在的挑战及不足。     

人脸表情识别研究的新进展

人脸表情识别（facial expression recognition,简称FER）作为智能化人机交互技术中的一个重要组成部分,近年来得到了广泛的关注,涌现出许多新方法.本文综述了国内外近4年人脸表情识别（FER）技术的最新发展.首先,介绍了FER系统的组成：人脸检测、表情特征提取和表情分类,并详细叙述了其中表情特征提取和表情分类的方法.然后,对目前广泛应用的人脸表情数据库进行了介绍,并在此基础上对当前一些FER系统的性能进行了比较分析.最后,对FER领域的研究现状和挑战给予了评述,对FER可能的发展方向进行了讨论.     

基于单张人脸图像的表情生成方法

人脸表情生成是人机情感交互的重要实现方式之一。通过研究人脸及表情特点,抽象具体的器官变化,归纳出针对人脸图像的网格划分法法则。在此基础上提出了一种针对人脸表情生成的网格划分技术。该技术通过简单的定位,使用二次多项式曲线合理划分了人脸主要器官,继而将其参数化,实现对人脸各器官的独立调整变动。简化定义了6种基本表情的面部变化,使用新网格划分技术实现不同的人脸器官变化,生成各种特定的表情。同时尝试了皱纹等皮肤纹理的添加步骤。与已有的人脸表情生成方法相比,新方法具有网格划分方式简单、变动参数多样、易于编码实现和计算量小等优点,最终生成的人脸表情在主观 评测中评价良好。     

视频驱动的语义表情基动画方法

为了重用视频内容中的表情信息,提出一种语义表情构造与语义表情参数优化方法.首先从带有噪声的稀疏特征点中定义出人脸表情的语义信息;然后在语义表情空间中优化求解出最优表情参数,以提高人脸动画的真实感.该方法既不需要标定相机参数,也不需要预先建立表演者的3D人脸模型及其表情基,因此除了可用于网络视频的表情重用,也可用于开发实时在线的网络社交等应用.实验结果表明,对于头部摆动的俯仰角和侧角在[?15?,15?]范围内的原始视频,文中方法能够实时合成稳定、逼真的表情动画.     

基于SIFT的远程在线教育情感识别研究

针对现代远程在线教育实践领域中的情感缺失问题,提出了一种基于人脸表情识别的尺度不变特征转换SIFT(Scale Invariance Feature Transform)情感识别算法.SIFT情感识别算法以情感计算为理论基础,以人脸面部表情识别为核心技术,通过捕捉远程学习者的面部表情,进行SIFT特征提取,来识别远程学习者的表情,从而来帮助学习者在一定程度上补偿远程学习中缺失的情感.通过SIFT特征提取算法,建立了自动情感识别流程,并通过试验验证了基于SIFT特征提取算法的远程在线教育情感识别的效果是令人满意的.     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

面部表情捕捉技术的发展和应用

面部表情作为一种非常重要的非语言符号,在影视行业中一直受十分重视,面部表情捕捉技术也是近十几年被人们热衷研究的方向。本文综述面部表情捕捉技术的原理、发展和应用。通过影视工业中的具体影视作品来展示动作捕捉技术从萌芽诞生到面部表情捕捉技术的成熟所走过的一个世纪,以及在影视工业中所起到重要作用。最后展望面部表情捕捉技术未来在虚拟现实当中的作用,并讨论无标记点面部捕捉技术、实时面部表情呈现等将是面部表情捕捉技术未来的研究方向,提高读者对这个技术潜能的认知。     

人脸表情运动跟踪与表情识别算法

对于人脸视频中的每一帧,提出一种静态人脸表情识别算法,人脸表情运动参数被提取出来后,根据表情生理知识来分类表情;为了应对知识的不足,提出一种静态表情识别和动态表情识别相结合的算法,以基于多类表情马尔可夫链和粒子滤波的统计框架结合生理知识来同时提取人脸表情运动和识别表情.实验证明了算法的有效性.     

时空人脸表情动画编辑

为了提高计算机合成人脸表情动画的后期制作效率,提出一种基于时空的人脸表情动画编辑方法.首先使用基于拉普拉斯的网格变形技术将用户的编辑效果在空间域传播到整个人脸模型,很好地保留了中性人脸模型的几何细节特征,从而提高合成表情的真实感;然后使用高斯函数将用户编辑效果在时间域传播到邻近表情序列,保持人脸表情动画的平滑过渡,所合成人脸表情动画与初始给定数据保持一致.该方法为用户提供了人脸表情动画编辑的局部控制,可由用户指定编辑的影响范围,使得编辑效果在指定范围内自然传播.实验结果表明,文中方法所合成人脸表情动画自然、真实,有效地提高了数据驱动人脸表情动画的编辑效率.     

人机交互中的人脸信息曲波分析

视觉交互是自然人机交互的重要组成部分,而人脸特征提取则是视觉交互成功的关键。针对小波变换难以充分描述人脸曲线特征的缺点,为了更好地提取人脸特征,将更符合人类视觉特性的曲波变换用于人脸信息处理,提出了结合曲波变换与Adaboost方法的人脸检测优化方法和基于曲波变换与SVM进行表情分析的新方法,并开展了人脸检测、人脸识别与表情分析的对比实验。实验结果显示,曲波变换在人脸特征提取中具有明显优势,从而为自然人机交互的下一步工作打下了坚实基础。     

实时交互式三维脸部表情动画研究及其实现

根据人脸的生理结构特点,使用分块造型技术进行脸部建模,提出了一个基于"脸型特征"和"五官特征"的参数化肌肉模型,通过模型上控制顶点的属性值来控制脸部形成不同的表情,并利用MAYA MEL语言实现了一个实时交互操作界面.这使得对脸部表情的研究更加方便、灵活,建模及其动画化也更加逼真、实用.     

人脸面部表情自动生成系统

详细介绍开发一个人脸面部表情自动生成系统所用到的相关技术,包括人脸三维建模、面部表情合成、系统用户界面实现等技术。系统开发的目的是建立一个具有真实感和实用性的三维人脸面部表情自动生成系统,其中,三维人脸建模技术包括3DMAX使用关键技术以及人脸特征提取技术,基于人脸建模的表情生成技术主要介绍通过肌肉运动来描述表情的技术,系统界面的设计采用MFC技术。对各技术全面而系统的介绍,将为人脸面部表情自动生成系统的开发与实现提供一个有效途径,为系统的应用者提供便利。     

基于CNN集成学习的人脸表情识别系统的设计

随着计算机计算资源的提升以及深度学习理论的不断丰富,自动的人脸表情识别技术已经得到了进一步的发展。但由于表情存在复杂性以及微妙性,实现实时的人脸表情识别仍是一大难题。文章设计了一种基于CNN集成学习的人脸表情识别系统,该系统在FER2013数据集上表情的识别准确率达到70.84%,能够实现实时的、高精度的表情识别。     

面部表情快速重构与识别方案的设计与实现

计算机人脸表情重构在人机情感交互中起着非常关键的作用。本文详细阐述了基于Web的面部表情快速重构与识别设计方案及其实现。通过实践检验，该方案能够实现在网络上快速重构面部表情，实时性好，并与表情识别能够较好地结合起来，且面部表情特征的数据处理方式具备较强的通用性。     

基于Gabor特征和混合高斯模型的人脸表情分析

首先对人脸表情的特点进行分析,提出了利用Gabor小波特征、主分量分析（PCA）结合混合高斯模型的人脸表情分析方法,并在人脸表情数据库JAFFE进行了实验。通过对不同表情的分布规律进行实验分析,实现了对表情的定性/定量分析。实验结果表明,提出的人脸表情分析方法能够对人脸表情进行恰当的表达和描述。