基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

基于特征点的人脸模型调整方法探讨

基于特征点的三维人脸模型调整．是利用标准人脸的网格模型生成特定人脸模型的重要步骤，该方法已在人脸识别、虚拟现实、表情动画等多方面的应用中取得了良好效果。本文介绍了网格模型及其调整，对利用模型特征点进行非特征点自动调整的方法进行了具体的分类和分析，并对该方法的进一步发展和应用进行了展望。     

基于链码的人脸表情几何特征提取

已有人脸表情特征提取算法的表情识别率较低.为此,提出一种基于链码的人脸表情几何特征提取算法.以主动形状模型特征点定位为基础,对面部目标上定位的特征点位置进行循环链码编码,以提取出人脸表情几何特征.实验结果表明,相比经典的LBP表情特征鉴别方法,该算法的识别率提高约10％.     

一种稳定的人脸轮廓模型

用Harris算子提取被测人脸上受表情影响较小的几个关键特征点,由这些特征点的相对座标位置与正面人脸模型中对应点的相对座标位置之间的转化关系估计出被测人脸的姿态向量,用此姿态向量与提取的点建立一个综合人脸轮廓模型。由于所提取的特征点受人脸表情变化影响很小,在模型中又正确估计了人脸姿态,因此,此模型可以很好地抑制人脸表情和姿态变化的影响,适合于作为识别人脸的依据。     

多信息融合的深度学习人脸表情识别算法研究

人脸表情识别作为人机交互系统的重要组成部分,在安防监控、人机交互等领域有广泛的应用,是计算机视觉的研究热点。传统的卷积神经网络方法一般提取单张人脸图像或者人脸标记点作为特征提取的输入数据,未能考虑到人脸全域的表情信息。提出了一种基于三通道多信息融合的深度学习人脸表情识别模型,以人脸图像表情平静到高峰时期标记点坐标的相对位移为输入,提取整个人脸表情图像特征信息,模型融合了稀疏自编码器以提高对边缘特征提取效率。该模型在CK+数据集上进行了训练和测试,实验结果表明,与该领域中的同类算法相比,该算法模型提高了表情识别的准确率。     

基于表情传输的交互式照片编辑

目的 生活中照片拍摄时难以捕捉到所有人脸表情最佳的时刻,多次摆拍不仅费时,而且可能会错过某些场景,传统的后期编辑软件不具备针对性,且操作复杂。针对人物照片中部分人脸表情不佳的情况,提出一种基于表情传输的交互式照片编辑算法。方法 首先将包含源人脸的照片与具有目标表情人脸的照片进行特征点检测,通过交互将指定人脸部分选出并将其姿态归正为眼睛在同一水平线上,如果目标人脸与源人脸身份相同,将目标人脸区域根据源人脸的轮廓以及左右半脸分布以扫描线变形得到替换目标;不相同时根据目标人脸特征点分布的几何特征计算源人脸中特征点的新位置,通过基于特征点变化的网格变形得到替换目标,最后利用二次光照与泊松融合将其无缝拼接到源图中。结果 实验表明算法可以对人脸五官清晰且在宽容度内的人物照片进行表情编辑,处理结果只改变了人物的脸部表情,并且无明显拼接痕迹。结论 提出了一种新型针对目标人脸不同身份信息的交互式表情传输模型,该模型可以适应不同的编辑条件与要求,效果出色。     

基于模型的面部图像生成方法

在人脸部件几何特征及肌肉运动模型的基础上,本文提出了一种二维面部图像的生成方法。该方法采用特征网络模型精确地描述人脸部件,将网络上轮廓特征点的相对位移作为面部图像变形及表情综合的参数,并通过面部整合模型控制各部件之间相互作用关系及人脸轮廓变化。实验证明该方法产生的面部变形图像比较精确,表情效果也很自然。     

有限元法在人脸三维建模及表情动画中的应用研究

将机械工程中的有限元方法用于人脸的三维建模,利用人脸上提取的99个特征点和一些辅助点,用光滑的样条曲线模拟人脸表情肌分布位置连结成线,由线生成三角面片和四角面片组合的有限元建立的人脸几何模型.给该模型定义合适的单元类型、实常数等参数,定义能与人脸皮肤等效的材料属性,并在眼睛、嘴等动作敏感位置加一定量载荷求解,模拟人脸表情动作.从求解的应力图中可以看出,该几何模型变形均与人脸表情动作时皮肤弹性变形一致.该方法可以快速、准确的进行三维人脸参数化建模,可方便提取特征点进行人脸识别.这种建模方法为人脸三维建模提供了一种新的思路和可靠的理论依据,同时降低了后期人脸识别的难度.     

基于ASM和Gabor变换的人脸识别

人脸形状特征的变化是造成人物面貌差异的重要原因之一。主动形状模型(ASM)技术提供了检测该特征的有力手段。Gabor变换有着良好的仿生特性。它提供了理解视觉信息的有效途径。结合上述技术,采用点分布模型对人脸形状进行描述,利用ASM进行人脸特征点的搜索。以特征点上的Gabor展开系数作为人脸特征矢量,进行人脸辨识,实验结果表明,该算法能够在少量训练样本的情况下获得较高的识别率,并对光照、人物表情等变化具有较好的适应性。     

人脸特征约束点的三维表情合成*

针对目前很多三维表情合成算法计算量大、方法比较复杂、真实感不强的特点,结合人脸分布特征,提出了一种基于Delaunay三角剖分的三维表情合成新算法。该方法通过对人脸特征点集的快速三角剖分避免了病态三角网格,有效提高了合成后人脸表情的真实度,降低了算法复杂度。大量实际人脸表情合成的实验结果表明,该算法通过少量的特征点生成的三维人脸表情更加真实,可有效快捷地合成各种真实的人脸表情。     

脸部特征点的定位与提取方法

提出一种正面人脸关键特征点的自动提取方法。该方法选取两个瞳孔点、两个鼻孔点、鼻尖点、两个嘴角点共7个关键特征点进行自动标定的研究,通过在图像预处理阶段采用选择式掩模平滑算子和Fisher线性判别思想分别进行灰度图像的边缘检测和二值化处理,并结合灰度积分投影方法定位人脸区域,进一步应用人脸结构基本特征的先验知识定位面部主要器官,在此基础上结合Hough变换,SUSAN算子实现特征点的自动提取。实验证明：该方法能够准确、有效地标定人脸的关键特征点,具有一定的实用性,可应用于安全部门、身份证管理、电视会议等领域。     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

一种基于偏转角度的AAM人脸特征点定位方法

对有偏转角度的人脸特征点定位来说,拟合初始位置和模型的角度对人脸特征点定位效果有很大的影响。而传统的AAM（Active Appearance Models）人脸特征定位方法没有具体考虑这一问题,对有偏转角度的人脸特征点的定位准确率和速度并不理想。为解决这个问题,文中提出了一种利用两眼中心坐标和嘴中心坐标来计算人脸偏转角度,根据坐标和角度确定拟合初始位置和模板的方法。用Adaboost和YCbCr对人脸进行预检测,根据找到的特征区域计算偏转角,用反向算法结合该角度的模板进行特征点定位。实验的测试结果表明本方法对有偏转角度的人脸的特征点定位比传统方法在准确度和速度上都有了提高。     

视觉语音参数的自动估计

视觉语音参数估计在视觉语音的研究中占有重要的地位．从MPEG-4定义的人脸动画参数FAP中选择24个与发音有直接关系的参数来描述视觉语音,将统计学习方法和基于规则的方法结合起来,利用人脸颜色概率分布信息和先验形状及边缘知识跟踪嘴唇轮廓线和人脸特征点,取得了较为精确的跟踪效果．在滤除参考点跟踪中的高频噪声后,利用人脸上最为突出的4个参考点估计出主要的人脸运动姿态,从而消除了全局运动的影响,最后根据这些人脸特征点的运动计算出准确的视觉语音参数,并得到了实际应用．     

局部特征脸型分类方法

本文针对传统脸型分类算法特征点定位不准和过度依赖轮廓曲线的问题,提出了一种人脸轮廓圆形邻域局部特征表达方式和脸型分类模型。首先,初步定位脸型轮廓特征点;然后,在特征点周围选取三重八连通圆形邻域,通过计算一级邻域、拓展邻域与中心区域间的纹理变化,生成二进制编码序列,构造脸型局部特征向量;最后,设计OVO-RBF-SVM多分类模型,实现脸型分类。本文方法在CAS-PEAL人脸库上进行脸型类型判别,获得了94.28%的准确率;在相同情况下,分别与基于主动形状模型和基于下颌曲线模型的脸型类型判别方法进行对比,准确率分别提高了6.64%和6.58%。本文所研究的方法在一定程度上解决了特征点定位相对不准确导致误差增加的问题,同时尽可能多利用图片原始信息,保证轮廓特征提取的准确率,具有较强的鲁棒性。通过实验证明本文方法适用于脸型分类。     

Robust facial feature tracking under varying face pose and facial expression

This paper presents a hierarchical multi-state pose-dependent approach for facial feature detection and tracking under varying facial expression and face pose. For effective and efficient representation of feature points, a hybrid representation that integrates Gabor wavelets and gray-level profiles is proposed. To model the spatial relations among feature points, a hierarchical statistical face shape model is proposed to characterize both the global shape of human face and the local structural details of each facial component. Furthermore, multi-state local shape models are introduced to deal with shape variations of some facial components under different facial expressions. During detection and tracking, both facial component states and feature point positions, constrained by the hierarchical face shape model, are dynamically estimated using a switching hypothesized measurements (SHM) model. Experimental results demonstrate that the proposed method accurately and robustly tracks facial features in real time under different facial expressions and face poses.     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

ASM与彩色Labor特征相结合的人脸关键特征点提取

提出一种ASM(active shape Model)与彩色Gabor特征相结合的提取人脸关键特征点的方法。该方法首先通过瞳孔的精确定位来辅助完成人脸形状模型的初始化;然后采取全局特征与局部特征相结合的方法来共同实现对特征点的定位;最后选取人脸图像中的关键特征点的特征信息,结合彩色Gabor特征进行提取,进而快速准确地得到人脸关键特征点。实验表明,与传统的ASM算法比较,加入了彩色信息的改进算法对特征点定位有显著的提高。     

关键人脸轮廓区域卡通风格化生成算法

针对人脸轮廓特征区域的局部化限定,结合关键特征点的提取和脸部邻近颜色区域的融合,并 引入注意力机制,提出了一种基于 CycleGAN 的关键人脸轮廓区域卡通风格化生成算法,以此作为初始样本构 建生成对抗网络(GAN)并获取自然融合的局部卡通风格化人脸图像。利用人脸轮廓及关键特征点进行提取,结 合颜色特征信息限定关键人脸风格化区域,并通过局部区域二值化生成关键区域人脸预处理的采样图像;为了 使生成图像能够自然匹配所提取特征区域,利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理,并 相应地扩展风格化生成图像的过渡区域;最后通过构建基于无监督学习的生成对抗网络,使用训练数据集进行 人脸图像局部轮廓特征区域的卡通风格化生成。算法对人脸轮廓区域的边缘及邻近区域颜色进行滤波处理,可 实现良好的边缘轮廓过渡融合,生成自然的人脸局部轮廓区域的卡通风格化图像。实验结果表明,该算法对于 人脸图像的生成具有很高的鲁棒性,能够应用于各种尺度人脸图像的风格化生成。