基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

基于形变模型的真实感三维人脸动画研究

论文提出了一种新的基于三维人脸形变模型,并兼容于MPEG-4的三维人脸动画模型。采用基于均匀网格重采样的方法建立原型三维人脸之间的对齐,应用MPEG-4中定义的三维人脸动画规则,驱动三维模型自动生成真实感人脸动画。给定一幅人脸图像,三维人脸动画模型可自动重建其真实感的三维人脸,并根据FAP参数驱动模型自动生成人脸动画。     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

表演驱动的二维人脸表情合成

为了由视频进行驱动生成人脸表情动画,提出一种表演驱动的二维人脸表情合成方法。利用主动外观模型算法对人脸的关键点进行定位,并从关键点提取出人脸的运动参数;对人脸划分区域,并获取目标人脸的若干样本图像;从人脸的运动参数获取样本图像的插值系数,对样本图像进行线性组合来合成目标人脸的表情图像。该方法具有计算简单有效、真实感强的特点,可以应用于数字娱乐、视频会议等领域。     

基于ICA算法的一般人脸动画模式表达

该文基于三维扫描数据抽取特定人面部特征点的三维运动,转化为FAP训练数据。然后通过对获取数据应用独立元分析获得一般人脸动画模式,最终使用ICA参数空间生成任意特定人的面部表情。实验结果表明,ICA比PCA给出更加紧致准确的一般人脸动画表达模式,当两种分量的数目相同时,ICA的重建误差比PCA的重建误差小。表情参数影响动画人脸不同部分的独立性和相关性,改善了不同表情人脸动画的真实性。     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

单张照片输入的人脸动画系统

人脸动画不仅包括表情的变化,同时涉及眼睛和头部的动作.为了方便、逼真地生成这些丰富的动画效果,提出一个基于单张照片的人脸动画系统.首先利用梯度场修改的方法将样本表情映射到输入人脸上,为了避免样本人脸上斑点等非表情信息的映射,采取WLS算子对样本表情进行滤波;然后对输入图像的眼睛部分进行纹理合成处理,利用合成的眼球和眼白纹理来生成眼睛的动作;最后借助一个3D人脸模型来实现输入图像头部姿态的改变.实验结果表明,该系统能够实时地生成逼真、自然的动画效果.     

虚拟人“双簧”—与语音同步的三维人脸动画的研究

为了有效地合成人脸语音动画,提出一种与语音同步的三维人脸口型与表情动画合成的方法。首先,根据对人脸运动解剖学的研究,构建一个基于肌肉模型与微分几何学模型的三维人脸控制模型,通过数据结构的形式去控制肌肉模型和微分几何学模型实现人脸的运动,从而实现各种口型和表情运动的变化;然后,充分考虑汉语的发音特征,提出一种基于几何描述的并且符合汉语发音习惯的协同发音模型,从而产生逼真的三维人脸语音动画。仿真结果和实验对比表明,采用该方法可以得到符合汉语发音习惯的三维人脸口型动画,且合成的三维人脸表情较为自然,逼真。     

面向移动设备的快速人脸纹理映射

提出一种面向未来掌上移动设备（如高端手机,PDA等）的灵活实用的纹理映射方法.该方法仅需要一张正面人脸照片作为输入,不要求模型和纹理的精确匹配,通过简单的交互实现在较低资源配置下人脸纹理的提取.采用了一种交互调整映射的方案,通过用户对模型中特征点及其影响区域的编辑,实现对局部纹理坐标的定义,得到满意的映射效果.实验结果表明,文中方法具有较高的效率和真实感,可以用于产生真实感三维人脸表情动画.     

A Texture Mapping Approach to 3-D Facial Image Synthesis

A method of synthesising and animating a realistic image of a person's face by means of computer graphics is described. The key feature contributing to realism in image synthesis lies in the use of texture mapping in the rendering of surface detail on the face. Full facial animation is made possible by manipulating a 3-D model of the face in conjunction with a relatively small data set of pre-stored sub-images.     

基于二维图像的三维人脸建模技术

建立三维人脸模型和表情动画是计算机图形学领域的一个研究热点。文章提出了一种基于二维图像的三维人脸建模方法,首先在给定的人脸的正侧面照片上提取事先定义好的反映人脸特征的特征点信息,与一个一般人脸模型上对应点的信息进行比较和修改,得到反映给定人脸特征的特定人脸模型。最后使用纹理映射技术给特定人脸模型添加纹理信息,形成真实感的虚拟三维人脸模型。     

基于单幅图像的真实感人体动画合成

由于单幅图像缺失三维信息以及完整的纹理信息,基于单幅图像的真实感三维人体动画合成极具挑战性。针对单幅图像三维信息缺失问题,提出了一种基于SMPL参数模型的三维人体几何重建方法。该方法以单幅图像为输入,先根据输入图像人体轮廓信息变形标准的SMPL参数模型分别生成与目标轮廓一致的正反面的三维几何模型,然后利用基于B样条插值的网格拼接融合算法拼接正反面三维几何,最后为了恢复正确的手部几何,利用基于B样条插值的网格拼接融合算法,将重建后的模型上错误的手部几何用标准SMPL参数模型上正确的手部几何替换。同时,针对单幅图像中纹理缺失的问题,提出了一个称为FBN（front to back network）的对抗生成网络,用于恢复被遮挡的人体背面纹理。实验结果表明,该方法生成的具有完整纹理的人体几何能够由3D运动数据驱动运动,生成具有高度真实感的三维人体动画。     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

Realistic mouth synthesis based on shape appearance dependence mapping

Mouth images are difficult to synthesize because they vary greatly according to different illumination, size and shape of mouth opening, and especially visibility of teeth and tongue. Conventional approaches such as manipulating 3D model or warping images do not produce very realistic animation. To overcome these difficulties, we describe a method of producing large variations of mouth shape and gray-level appearance using a compact parametric appearance model, which represents both shape and gray-level appearance. We find the high correlation between shape model parameters and gray-level model parameters, and design a shape appearance dependence mapping (SADM) strategy that converts one to the other. Once mouth shape parameters are derived from speech analysis, a proper full mouth appearance can be reconstructed with SADM. Some synthetic results of representative mouth appearance are shown in our experiments, they are very close to real mouth images. The proposed technique can be integrated into a speech-driven face animation system. In effect, SADM can synthesize not only the mouth image but also different kinds of dynamic facial texture, such as furrow, dimple and cheekbone shadows.     

基于双相机捕获面部表情及人体姿态生成三维虚拟人动画

为了生成表情丰富、动作流畅的三维虚拟人动画,提出了一种基于双相机同步捕获面部表情及人体姿态生成三维虚拟人动画的方法。首先,采用传输控制协议（TCP）网络时间戳方法实现双相机时间同步,采用张正友标定法实现双相机空间同步。然后,利用双相机分别采集面部表情和人体姿态。采集面部表情时,提取图像的2D特征点,利用这些2D特征点回归计算得到面部行为编码系统（FACS）面部行为单元,为实现表情动画做准备;以标准头部3D坐标值为基准,根据相机内参,采用高效n点投影（EPnP）算法实现头部姿态估计;之后将面部表情信息和头部姿态估计信息进行匹配。采集人体姿态时,利用遮挡鲁棒姿势图（ORPM）方法计算人体姿态,输出每个骨骼点位置、旋转角度等数据。最后,在虚幻引擎4（UE4）中使用建立的虚拟人体三维模型来展示数据驱动动画的效果。实验结果表明,该方法能够同步捕获面部表情及人体姿态,而且在实验测试中的帧率达到20 fps,能实时生成自然真实的三维动画。     

基于形状外观关联映射的动态脸部纹理生成

脸部表情的变化细节(例如皱纹)是很重要的视觉线索,但是它们难以建模与合成.这是由于人们说话和作表情时,脸部纹理也在动态地改变.与传统的纹理映射方法不同,提出一种根据脸部特征点运动来生成脸部动态纹理的新方法.基于形状和外观在表情脸部图像上高度相关这个观察,设计建立了从形状到外观的映射关系.这个映射被称作"形状外观的关联映射(shape-appearance dependence mapping,简称SADM)".实验结果表明用,SADM合成出的人脸与真实的人脸十分近似.提出的SADM方法可以集成到基于线框模型的人头模型中产生真实的动画效果,也可以应用于基于模型的视频编码来进一步节省传输带宽.