基于文本驱动的人脸表情动画系统

人脸表情动画是计算机图形学的重要研究领域之一,在影视和游戏中的虚拟人的应用促进了它的发展,它主要研究若干种典型表情的产生以及利用已有表情产生中间过渡表情。本文主要介绍了表情动画的研究现状,并且设计实现了基于文本驱动的人脸表情变化系统。     

Kinect驱动的人脸动画合成技术研究

三维人脸动画合成技术可以应用于虚拟现实、角色控制等多个领域。为此,提出一种基于Kinect的人脸动画合成方法。人脸跟踪客户端利用Kinect对用户的脸部表情进行跟踪识别,得到人脸表情动画参数,通过socket发送给人脸动画合成服务器,由人脸动画合成服务器查找基于MPEG-4标准的人脸动画定义表,控制人脸模型的变形,从而实时合成与用户表情相对应的三维人脸动画。实验结果表明,该方法能够在满足实时性要求的条件下合成高质量的三维人脸动画,同现有技术相比,结构简单、容易部署且具有较好的可扩展性。     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

时空人脸表情动画编辑

为了提高计算机合成人脸表情动画的后期制作效率,提出一种基于时空的人脸表情动画编辑方法.首先使用基于拉普拉斯的网格变形技术将用户的编辑效果在空间域传播到整个人脸模型,很好地保留了中性人脸模型的几何细节特征,从而提高合成表情的真实感;然后使用高斯函数将用户编辑效果在时间域传播到邻近表情序列,保持人脸表情动画的平滑过渡,所合成人脸表情动画与初始给定数据保持一致.该方法为用户提供了人脸表情动画编辑的局部控制,可由用户指定编辑的影响范围,使得编辑效果在指定范围内自然传播.实验结果表明,文中方法所合成人脸表情动画自然、真实,有效地提高了数据驱动人脸表情动画的编辑效率.     

人脸动画方法综述*

在分析人脸动画实现的困难点的基础上,介绍了人脸动画的三大类实现方法:基于生理模型、基于三维模型和基于图像的方法.探讨了这些方法的特点,并指出了它们各自的适用领域和局限性,提出了各类人脸动画方法需要根据实际需求相互灵活结合使用的观点.     

人脸表情动画

人脸表情动画是计算机动画研究的一个重要分支．它有着十分广泛的应用前景。本文评述了国内外人脸表情动画方法和技术研究现状，提出了进一步需要解决的问题。并针对真人脸表情点提取难题给出了一个有效的特别的解决方案。     

基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

人脸检测研究进展

人脸检测在人脸识别、基于内容的检索、自动监控、人机交互等方面有着广泛的应用。文章主要从特征和原理方面对已有方法进行分析,表明了人脸检测技术的特点、存在的问题以及发展现状等,也给出了一些新的研究方向和发展前景。     

人脸表情合成算法综述

人脸表情合成技术旨在保留人脸身份信息的情况下,对人脸表情进行重建,从而生成具有新表情的源人脸图像。深度学习的发展为表情合成提供了全新的解决方案,本文从特征提取、生成对抗网络的表情合成和实验评估方面综述了人脸表情合成技术的发展。首先,介绍了人脸特征的提取,这是表情合成任务中的一项关键技术,人脸特征可客观全面地描述人脸表情状态。其次,分析了表情合成领域中主流的基于深度学习的方法,主要针对生成对抗网络（Generative adversarial network,GAN）的发展现状,探讨了基于生成对抗网络的表情合成方法。通过对人脸数据集及实验评估方法的深入研究,总结出广泛使用的人脸表情合成数据集以及多种客观评价方法。最后根据现有方法所存在的问题,提出了未来工作的研究方向。     

基于MPEG-4和PCA的人脸动画合成方法

三维人脸动画技术融合了多通道交互技术和多功能感知技术,在虚拟现实、虚拟主持人、虚拟会议、辅助教学、医疗研究、电影制作、游戏娱乐等很多领域有广泛的应用。文章分析了基于MPEG-4标准的人脸动画合成方法,并针对其在实际过程中产生的两个问题,包括人脸模式太多和局部调整带来的影响,分别采用聚类和主成分分析(PCA)的方法进行改进。实验表明基于PCA来解决局部调整人脸模式的方法可以部分实现动画过程中表情的表达,从而极大地提高了人脸动画合成的可操作性。     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

Statistical learning based facial animation

To synthesize real-time and realistic facial animation, we present an effective algorithm which combines image- and geometry-based methods for facial animation simulation. Considering the numerous motion units in the expression coding system, we present a novel simplified motion unit based on the basic facial expression, and construct the corresponding basic action for a head model. As image features are difficult to obtain using the performance driven method, we develop an automatic image feature recognition method based on statistical learning, and an expression image semi-automatic labeling method with rotation invariant face detection, which can improve the accuracy and efficiency of expression feature identification and training. After facial animation redirection, each basic action weight needs to be computed and mapped automatically. We apply the blend shape method to construct and train the corresponding expression database according to each basic action, and adopt the least squares method to compute the corresponding control parameters for facial animation. Moreover, there is a pre-integration of diffuse light distribution and specular light distribution based on the physical method, to improve the plausibility and efficiency of facial rendering. Our work provides a simplification of the facial motion unit, an optimization of the statistical training process and recognition process for facial animation, solves the expression parameters, and simulates the subsurface scattering effect in real time. Experimental results indicate that our method is effective and efficient, and suitable for computer animation and interactive applications.     

非线性联合学习的三维人脸表情合成方法

针对人脸表情数据的非线性分布特性,提出一种基于非线性联合学习的三维人脸表情合成方法.首先提出非线性联合学习理论,通过无监督回归将具有相同属性的三维人脸映射到相同的低维表达;其次,基于三维人脸的低维表达对低维表达进行重建操作,为给定的三维人脸合成表情,或基于样例表情进行表情的重定向.另外,非线性联合学习方法还能有效地处理带噪声及不完整的人脸数据,获得完整的表情人脸.实验结果表明,文中方法的表情重定向合成结果及合成效率优于已有方法.     

虚拟人情绪行为动画模型

近年来 ,虚拟人行为动画已经成为计算机动画一个新的分枝 ,已往的研究多集中在虚拟人局部的情绪表达动画方面 ,如脸部动画 ,而对于给定的虚拟场景 ,则尚未考虑情绪产生的原因 .情绪是虚拟人和虚拟环境交互作用的结果 ,然而在计算机动画领域 ,虚拟人的情绪至今尚未得到清楚的描述 .为此 ,依据心理学的理论 ,提出了虚拟人情绪行为的动画模型 ,即 ,首先提出了情绪集合和情绪表达集合的概念 ,并建立了从情绪状态到情绪表达之间的映射 ;其次 ,着重分析了情绪产生的原因 ,并引入了情绪源的概念 ,如果一种情绪刺激的强度大于情绪的抵抗强度 ,那么这种情绪就会产生 ;此外 ,情绪状态可以采用有限状态机来描述 ,据此提出了情绪的变化流程 ;最后 ,在微机上通过调用 Microsoft Direct3D API,实现了虚拟人的情绪行为动画     

人机交互中的人脸表情识别研究进展

随着人机交互与情感计算技术的快速发展,人脸表情识别已成为人们研究的热点。为了阐明人机交互中人脸表情识别的研究方向及进展,该文从人脸表情数据库、表情特征提取、表情分类方法、鲁棒的表情识别、精细的表情识别、混合表情识别、非基本表情识别等方面对人脸表情识别的研究现状进行了分析。最后总结了人脸表情识别研究的热点及趋势,同时指出了人脸表情识别研究存在的局限性,并对人脸表情识别的发展进行了展望。     

A Generic Framework for Efficient 2-D and 3-D Facial Expression Analogy

Facial expression analogy provides computer animation professionals with a tool to map expressions of an arbitrary source face onto an arbitrary target face. In the recent past, several algorithms have been presented in the literature that aim at putting the expression analogy paradigm into practice. Some of these methods exclusively handle expression mapping between 3-D face models, while others enable the transfer of expressions between images of faces only. None of them, however, represents a more general framework that can be applied to either of these two face representations. In this paper, we describe a novel generic method for analogy-based facial animation that employs the same efficient framework to transfer facial expressions between arbitrary 3-D face models, as well as between images of performer's faces. We propose a novel geometry encoding for triangle meshes, vertex-tent-coordinates, that enables us to formulate expression transfer in the 2-D and the 3-D case as a solution to a simple system of linear equations. Our experiments show that our method outperforms many previous analogy-based animation approaches in terms of achieved animation quality, computation time and generality.     

基于物理模型的人脸表情动画技术研究

用计算机建立人脸表情动画是当前计算机图形学研究领域的一个富有挑战性的课题，该文在总结了国内外有关该课题研究方法的基础上，提出了一种基于物理模型的人脸表情画生成算法，并依该算法计和开发了一个实际的人脸表情动画系统HUFACE。该算法将人的脸部模拟为一个弹性体，为使计算简化，又将人脸表面依其生理特性分为八个子块，脸部表情所产生的五官动作模拟为弹性体的形变，并建立相应的弹性形变模型，当脸部表情引起脸部各子块形变时，每个子块上的各点将发生位移，于是利用该模型计算这些点的位移量，由此获得表情动画中的每一帧画面，由于脸部动作由该形变模型控制，且计算简单，速度快，因此不需存储表情动画中的各个画面，提高了系统的效率，实验结果表明，由HUFACE系统生成的人脸表情真实，自然。     

一个基于SAPI5.0的中文语音动画系统

在已经实现了“一个MPEG－4 兼容的人脸动画系统”和基于KD2000的“一个MPEG－4兼容的语音动画系统”的基础上，又设计并实现了一个基于SPI5．0的中文语音动画系统”。该文介绍该系统的设计思想和实现技术，包括定义中文可视音素，得到中文可视音素，估算可视音素的持续时间，处理表情标签，语音与动画同步等，语音动画系统在普通微机上就能够产生带有表情的高质量的语音动画。