利用主动外观模型合成动态人脸表情

人脸表情发生变化时,面部纹理也相应地改变;为了方便有效地模拟这一动态的表情变化过程,提出一种基于主动外观模型的人脸表情合成方法.首先离线学习人脸表情与人脸形状和外观参数之间的关系,利用该学习结果实现对输入人脸图像的表情合成;针对合成图像中眼睛和牙齿模糊的缺点,利用合成的眼睛图像和牙齿模板来替代模糊纹理.实验结果表明,该方法能合成不同表情强度和类型的表情图像;合成的眼睛图像不仅增强了表情的真实感,同时也便于实现眼睛的动画.     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

一种参数化的表情映射方法*

人脸表情细节的合成是生成高度真实感人脸动画的重要环节,传统的表情映射技术仅考虑了人脸特征点的位置变化,无法处理表情细节;最新的研究考虑了表情纹理细节的合成,但仅能根据已有的表情样本一对一地获取纹理细节,应用范围很有限。有效地结合小波金字塔分解和表情比例图像两种技术,提出了一种进行表情合成的新算法。该算法既可以映射表情纹理细节,又可以生成表情动画,且表情夸张程度可参数化地控制,算法简单有效。     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

人脸合成中模型的平滑调整和逼真的纹理映射

将薄平面样条函数用于人头模型的调整，使模型调整变得更加平滑、自然，并在纹理映射时，提出了基于模型分块的视角相关纹理映射的方法，该方法将模型分块并用每块对应的最清晰、非冗余的纹理对模型块做映射，使块与块之间形成的规则过渡带非常易于纹理融合，整个模型逐块地一次绘制完成，然后在模型中嵌入了抽象的人脸肌肉，合成出非常逼真的人脸表情动画．实验表明文中算法快速、简捷，合成的人脸图像细节清晰、逼真．     

表演驱动的二维人脸表情合成

为了由视频进行驱动生成人脸表情动画,提出一种表演驱动的二维人脸表情合成方法。利用主动外观模型算法对人脸的关键点进行定位,并从关键点提取出人脸的运动参数;对人脸划分区域,并获取目标人脸的若干样本图像;从人脸的运动参数获取样本图像的插值系数,对样本图像进行线性组合来合成目标人脸的表情图像。该方法具有计算简单有效、真实感强的特点,可以应用于数字娱乐、视频会议等领域。     

人脸表情的形变线性拟合方法

提出了用于人脸表情合成的形变线性拟合方法. 该方法利用人脸图像形变模型线性组合逼近的基本思想, 确定合成表情图像的形状信息和纹理信息, 其步骤简单, 容易实现. 该方法能有效地从中性表情人脸图像合成出具有表情的图像, 并且得到的人脸表情自然、逼真、具有说服力. 更为重要的是, 该方法能从闭着嘴的中性表情人脸图像合成出具有张开嘴露出牙齿效果的人脸表情图像, 克服了当前大多数人脸表情合成方法不能实现这一效果的不足.     

面向单幅图像的逼真3D人脸重建方法EI北大核心CSCD

针对3DMM参数拟合方法生成的纹理过于粗糙、结果不够逼真的问题,提出一种基于深度学习的单幅图像逼真3D人脸重建方法.首先构建RP-Net回归网络和包含5万幅人脸图像的数据集,从输入图像中学习参数,并拟合人脸模型生成3D人脸几何;然后通过构造多层次的损失函数进行弱监督学习,包括低水平的像素损失、地标损失和高水平的身份损失;最后通过纹理映射的方式生成逼真的人脸纹理.在2个通用人脸数据集和1个人工生成的人脸数据集上与最近的3D人脸重建方法进行对比实验,并对影响重建的光照、表情和转向等因素进行实验,根据SSIM和PSNR对3D重建结果进行量化分析.实验结果表明,所提方法面向单幅图像可以生成准确的3D人脸形状和逼真的人脸纹理;与最近的3D人脸重建方法相比,该方法的训练时间和迭代次数分别降低了6%和13%,SSIM值增加0.005~0.010,PSNR值平均提高0.03~0.08 dB.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.