视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

基于OpenGL技术的人脸表情动画合成的研究

阐述了在虚拟现实环境下，应用OpengL技术，如何对人脸建立物理模及其动画合成，并采用纹理粘贴，动画控制的手段．来仿真真实人脸的表情。文章中将人脸表面分戍8个脸部构件．采用NURBS曲面和三角形面片相结合的方式进行建模仿真．当脸部表情变化时，脸部构件也发生相应的位移的弹性形变。由于表情变化是基于本文构建的物理模型，因此，合成效率高。实验结果表明，基于OpenGL技术应用该算法对人脸建模及其动画合成。其仿真效果真实，自然。能够满足实际多媒体系统对友好人机交互的要求。     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

使用Dirichlet自由变形算法实现三维人脸及其变形

人脸是人类相互交流的重要渠道，是人类的喜、怒、哀、乐等复杂表情和语言的载体。因此、具有真实感的三维人脆模型的构造和变形是计算机图形学领域中一个研究热点。如何在三维人脸模型上产生具有真实感的人脸表情和动作．是其中的一个难点。文中介绍了一种基于Delaunay和nfichlev／Voronoi图的Dinchlet自由变形算法（Diridet Free—Form Dcformations，简称DFFD）解决这一问题。文中详细介绍了DFFD技术，并根据MPEG-4的脸部定义参数，应用DFFD对一般人脸进行变形。同时提出了在进行人脸变形时利用脸部定义参数FDP与脸部动画参数FAP分层次控制的方法，这种两级控制点控制的设置，使三维人脸模型产生光滑变形．由此可将人脸各种表情平滑准确地展现出来。     

使用Dirichlet自由变形算法实现三维人脸及其变形

人脸是人类相互交流的重要渠道,是人类的喜、怒、哀、乐等复杂表情和语言的载体。因此,具有真实感的三维人脸模型的构造和变形是计算机图形学领域中一个研究热点。如何在三维人脸模型上产生具有真实感的人脸表情和动作,是其中的一个难点。文中介绍了一种基于Delaunay和Dirichlet/Voronoi图的Dirichlet自由变形算法(Dirichlet Free-Form De-formations,简称DFFD)解决这一问题。文中详细介绍了DFFD技术,并根据MPEG-4的脸部定义参数,应用DFFD对一般人脸进行变形。同时提出了在进行人脸变形时利用脸部定义参数FDP与脸部动画参数FAP分层次控制的方法,这种两级控制点控制的设置,使三维人脸模型产生光滑变形,由此可将人脸各种表情平滑准确地展现出来。     

从一般人脸模型到特定人脸模型的修改

计算机模拟领域取得了巨大的成就，但是三维人脸的模拟工作对许多研究者来说仍是一个具有挑战性的课题。如何在人脸复杂的、不规则的表面上建模以及如何反映出特定人脸间的个体差异是实现真实人脸模拟的两大主要困难所在。本文针对后者，在已知一般人脸中性模型与一般人基本表情模型基础上，根据特定人脸的不同特征，经过整体与局部两种变换，完成从一般人脸中性模型到特定人脸中性模型的修改。随后，本文设计了矢量空间位移变换法，并应用该方法生成特定人基本表情模型。为解决特定人脸的真实模拟问题进行了有益的尝试     

人脸模型计算机模拟器

广泛用于建立视频游戏和影片中虚拟人物的计算机模拟专家已能建立准确的人脸模型,众所周知,人脸是最复杂的模拟对象.模拟人脸的困难在于,脸部肌肉不一定总是被固定在颅骨上:脸部肌肉经常会附在另一肌肉上或在另一肌肉之中.除此之外,44块脸部肌肉能形成近5千种不同状态,而这些肌肉在脸部的表现在很多情况下又取决于光照,因此要在计算机上自然再现脸部表情是一件非常复杂的任务.     

表情识别的图像预处理和特征提取方法研究

表情识别是基于视觉信息将脸部的运动或脸部特征的形变进行分类,包括三部分:脸部定位、脸部特征抽取和表情分类.本文首先使用肤色模型进行脸部定位;对提取出来的人脸进行预处理,然后通过Canny鼻子和人脸形状模型相结合的Canny-AAM方法进行特征点定位;最后利用曲线拟合的方法进行特征提取.基于上述算法建立表情识别平台,经过大样本对实时表情识别验证,结果表明对于不同光照下的实时表情识别具有鲁棒性.     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

三维人脸模型编辑器的设计与实现

用计算机生成真实感人脸动画是计算机图形学中最富有挑战性的课题之一，建立精细的三维人脸模型是其中的第一步，同时也是至关重要的一步，我们开发了一个三维人脸模型编辑器，可以使用该模型编辑器对从Interent下载的三维人脸模型进行增加，删除、修改等编辑操作，从而得到满意的可用的人脸模型，供人脸动画系统使用。     

A Video-Based Facial Motion Tracking and Expression Recognition System

We proposed a facial motion tracking and expression recognition system based on video data. By a 3D deformable facial model, the online statistical model (OSM) and cylinder head model (CHM) were combined to track 3D facial motion in the framework of particle filtering. For facial expression recognition, a fast and efficient algorithm and a robust and precise algorithm were developed. With the first, facial animation and facial expression were retrieved sequentially. After that facial animation was obtained, facial expression was recognized by static facial expression knowledge learned from anatomical analysis. With the second, facial animation and facial expression were simultaneously retrieved to increase the reliability and robustness with noisy input data. Facial expression was recognized by fusing static and dynamic facial expression knowledge, the latter of which was learned by training a multi-class expressional Markov process using a video database. The experiments showed that facial motion tracking by OSM+CHM is more pose robust than that by OSM, and the facial expression score of the robust and precise algorithm is higher than those of other state-of-the-art facial expression recognition methods.     

视频驱动人脸动画合成(英文)

In this paper, we present a system for real-time performance-driven facial animation. With the system, the user can control the facial expression of a digital character by acting out the desired facial action in front of an ordinary camera. First,we create a muscle-based 3D face model. The muscle actuation parameters are used to animate the face model. To increase the reality of facial animation, the orbicularis oris in our face model is divided into the inner part and outer part. We also establish the relationship between jaw rotation and facial surface deformation. Second, a real-time facial tracking method is employed to track the facial features of a performer in the video. Finally, the tracked facial feature points are used to estimate muscle actuation parameters to drive the face model. Experimental results show that our system runs in real time and outputs realistic facial animations.Compared with most existing performance-based facial animation systems, ours does not require facial markers, intrusive lighting,or special scanning equipment, thus it is inexpensive and easy to use.     

基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

基于形状外观关联映射的动态脸部纹理生成

脸部表情的变化细节(例如皱纹)是很重要的视觉线索,但是它们难以建模与合成.这是由于人们说话和作表情时,脸部纹理也在动态地改变.与传统的纹理映射方法不同,提出一种根据脸部特征点运动来生成脸部动态纹理的新方法.基于形状和外观在表情脸部图像上高度相关这个观察,设计建立了从形状到外观的映射关系.这个映射被称作"形状外观的关联映射(shape-appearance dependence mapping,简称SADM)".实验结果表明用,SADM合成出的人脸与真实的人脸十分近似.提出的SADM方法可以集成到基于线框模型的人头模型中产生真实的动画效果,也可以应用于基于模型的视频编码来进一步节省传输带宽.     

基于人脸表情特征的情感交互系统*

设计了一套基于人脸表情特征的情感交互系统(情感虚拟人),关键技术分别为情感识别、情感计算、情感合成与输出三个方面。情感识别部分首先采用特征块的方法对面部静态表情图形进行预处理,然后利用二维主元分析(2DPCA)提取特征,最后利用多级量子神经网络分类器实现七类表情识别分类;在情感计算部分建立了隐马尔可夫情感模型(HMM),并且用改进的遗传算法估计模型中的参数;在情感合成与输出阶段,首先采用NURBS曲面和面片相结合的算法,建立人脸三维网格模型,然后采用关键帧技术,实现了符合人类行为规律的连续表情动画。最后完成了基于人脸表情特征的情感交互系统的设计。     

Real-time speech-driven face animation with expressions using neural networks

A real-time speech-driven synthetic talking face provides an effective multimodal communication interface in distributed collaboration environments. Nonverbal gestures such as facial expressions are important to human communication and should be considered by speech-driven face animation systems. In this paper, we present a framework that systematically addresses facial deformation modeling, automatic facial motion analysis, and real-time speech-driven face animation with expression using neural networks. Based on this framework, we learn a quantitative visual representation of the facial deformations, called the motion units (MUs). A facial deformation can be approximated by a linear combination of the MUs weighted by MU parameters (MUPs). We develop an MU-based facial motion tracking algorithm which is used to collect an audio-visual training database. Then, we construct a real-time audio-to-MUP mapping by training a set of neural networks using the collected audio-visual training database. The quantitative evaluation of the mapping shows the effectiveness of the proposed approach. Using the proposed method, we develop the functionality of real-time speech-driven face animation with expressions for the iFACE system. Experimental results show that the synthetic expressive talking face of the iFACE system is comparable with a real face in terms of the effectiveness of their influences on bimodal human emotion perception.     

基于汉语文本驱动的人脸语音同步动画系统

为解决动画流与语音流的同步问题,设计并实现一种人脸语音同步动画系统。将所有中文音素分为16组中文可视音素,并用输入的人脸图像合成对应的关键帧,分析输入文本得到中文可视音素序列和动画的关键帧序列,将该关键帧序列与语音流对齐,在关键帧之间插入过渡帧的同时,播放语音流和动画流,以实现人脸语音同步动画。实验结果表明,该系统能产生符合人们视觉和听觉感受的人脸语音同步动画。     

Statistical learning based facial animation

To synthesize real-time and realistic facial animation, we present an effective algorithm which combines image- and geometry-based methods for facial animation simulation. Considering the numerous motion units in the expression coding system, we present a novel simplified motion unit based on the basic facial expression, and construct the corresponding basic action for a head model. As image features are difficult to obtain using the performance driven method, we develop an automatic image feature recognition method based on statistical learning, and an expression image semi-automatic labeling method with rotation invariant face detection, which can improve the accuracy and efficiency of expression feature identification and training. After facial animation redirection, each basic action weight needs to be computed and mapped automatically. We apply the blend shape method to construct and train the corresponding expression database according to each basic action, and adopt the least squares method to compute the corresponding control parameters for facial animation. Moreover, there is a pre-integration of diffuse light distribution and specular light distribution based on the physical method, to improve the plausibility and efficiency of facial rendering. Our work provides a simplification of the facial motion unit, an optimization of the statistical training process and recognition process for facial animation, solves the expression parameters, and simulates the subsurface scattering effect in real time. Experimental results indicate that our method is effective and efficient, and suitable for computer animation and interactive applications.