基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于改进ASM的三维人脸自动对齐算法

针对传统三维人脸对齐算法需要大量人工操作和数据冗余的不足,提出一种基于改进主动形状模型的三维人脸自动对齐算法。该算法对二维人脸进行快速自动特征定位,根据三维人脸柱面展开的二维纹理图进行自动特征定位并分片。采用基于平面模板的重采样算法,自动实现三维人脸顶点稠密对齐。实验结果表明,该算法在提高运算速率的同时,得到的归一化结果与原始数据仍能保持99%形状相似度。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于三维人脸建模的多姿态人脸识别

待匹配人脸图像与原始图像存在姿态和光照的差异,是自动人脸识别的两个主要瓶颈问题.给出了采用三维人脸模型来解决人脸姿态的变化对人脸识别的影响问题.通过正侧面图像,利用B样条曲线与径向基函数相结合的方法进行三维人脸重建,生成三维人脸模型库.分别计算待匹配人脸图像的3个自由度,快速估计出人脸的姿态;结合待匹配人脸图像的姿态参数及三维人脸模型库,获得与待匹配图像相同姿态的三维人脸模型库中的二维人脸图像.最后完成了相同人脸姿态的二维人脸识别.实验结果证明,该方法无需复杂的设备、简单易行、识别时间短,是一种非常实用的解决人脸姿态问题的识别方法.     

真实感人脸的形状与表情空间

提出一种建立三维人脸扫描模型参数空间的算法,其中的模板拟和算法基于能量最小的优化机制,通过非线性优化过程求解模板模型在每个顶点上的位移矢量,使之逼近目标模型.优化目标方程由以下测度组成：距离、平滑度以及人脸特征对应,如特征曲线、边界和特征点对等.使用该算法可用于不同人脸以及不同表情模型之间的对应建立,从而获取一致参数化的人脸形状和表情空间.在文中系统中,三维面部特征曲线通过Canny边检测算法自动获取,这样自动检测获取的特征曲线可用于降低三维形状描述的维数,同时完整的面部几何形状通过径向基函数插值得到.在中性人脸和表情人脸模型上所作的一致参数化为许多应用提供了平台,如形状渐变,纹理迁移和表情迁移.考虑到自动提取的特征曲线和二维线画卡通人脸的相似性,使用迭代优化算法实现二维线画卡通人脸姿态到三维真实人脸模型的迁移.     

基于Android的三维面部模型自适应调整算法

本文基于Android平台获取二维人物图像,使用face++提供的人脸特征点提取SDK对输入照片的人脸特征点进行自动定位来提取二维人物图像的人脸特征点,根据所提取的特征点使用自适应算法进行调整,生成与二维人物图像相适应的三维面部模型。与一般的调整算法相比,本文针对存在角度的二维人物图像提出生成其对应三维面部模型的自适应调整算法。     

RGB-D动态序列的人脸自然表情识别

区别于以二维静态图像为对象的传统人脸表情识别,提出一种针对RGB-D动态图像序列分析的人脸自然表情自动识别算法.首先针对预处理后的RGB-D表情图像序列提取四维时空纹理特征作为局部动态特征;再利用慢特征分析自动检测表情序列的峰值图像,并提取脸部三维几何模型为全局静态特征;最后结合动、静态特征,经主成分分析降维后输入条件随机场模型完成特征训练和表情识别.经由BU-4DFE人脸表情库验证表明,该算法不但比传统静态表情识别算法和其他动态算法具有优越性,而且能够针对自然展现的表情实现自动识别,为今后算法的实用化提供了可能.     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

一种改进的人脸纹理映射方法

识别人脸图像优化问题,由于人脸纹理映射时容易出现的纹理扭曲和畸变现象,影响图像的真实性,提出一种改进的纹理图像映射方法。根据人脸特征点信息,利用特征块匹配法配准正侧面人脸图像,并使用加权平滑算法和金字塔方法对图像进行双重融合实现图像的平滑过渡;然后利用一种特殊的定位方法来计算三维人脸模型上顶点对应的纹理坐标;最后根据纹理坐标将纹理图像映射到三维特定人脸模型表面上,可得到具有真实感的三维人脸模型。实验结果表明,纹理合成方法简捷有效,纹理映射结果生动逼真,有效的避免了纹理图像的扭曲和畸变现象,具有较高的鲁棒性。     

基于径向基函数的虚拟人脸合成方法

提出一种基于径向基函数的虚拟人脸合成方法.该方法根据正侧面图像获取人脸特征点的三维数据;利用基于径向基函数的散乱数据插值方法对通用人脸模型进行整体变形得到特定的人脸模型,并对模型进行Bezier磨光;将合成的人脸无缝拼接纹理图映射到特定的人脸模型.实验结果表明,合成的虚拟人脸具有较强的真实感.     

基于点云配准的人脸三维尺寸测量

接触式人脸三维尺寸测量易损坏表面特征,依赖于特征点标定,常含冗余信息.针对该问题,提出一种基于结构光与多视图图像点云配准的非接触式人脸三维尺寸测量方法.首先利用改进的迭代最近点算法建立转换函数,求出尺度因子、旋转矩阵和平移向量;然后基于模糊C均值算法对人脸面部进行聚类分割以获得候选区域;针对人脸表面离散点云不平整问题,...     

基于样例学习的任意光照下的人脸3D重建方法

待匹配的人脸图像与数据库中的原型图像之间的光照差异是自动人脸识别的主要瓶颈问题之一。提出了一种基于样例学习方式的3D人脸形状重建方法,既可以生成任意光照条件下的数据库中人脸图像,也可以对待识别图像进行重新光照,合成无阴影的图像。该方法在建立人脸数据库时利用光度立体技术分离人脸图像的纹理和形状信息,并用多面体模型在最小二乘意义下恢复其3D信息并更新法向量场以克服阴影误差,从而可以利用计算机图形学的方法合成任意光照条件下和小角度姿态改变时的人脸图像;在识别时采用数据库中3D数据的线性组合形式对输入图像建模,以估计其3D信息,从而可以重新照明。在YaleB人脸数据库上的实验表明,在建立3D人脸数据库后,该方法可以快速恢复输入单幅图像中人脸的3D信息,并生成任意光照条件的该人脸图像。     

A SfM-based 3D face reconstruction method robust to self-occlusion by using a shape conversion matrix

This paper presents a 3D face reconstruction method using multiple 2D face images. Structure from motion (SfM) methods, which have been widely used to reconstruct 3D faces, are vulnerable to point correspondence errors caused by self-occlusion. In order to solve this problem, we propose a shape conversion matrix (SCM) which estimates the ground-truth 2D facial feature points (FFPs) from the observed 2D FFPs corrupted by self-occlusion errors. To make the SCM, the training observed 2D FFPs and ground-truth 2D FFPs are collected by using 3D face scans. An observed shape model and a ground-truth shape model are then built to represent the observed 2D FFPs and the ground-truth 2D FFPs, respectively. Finally, the observed shape model parameter is converted to the ground truth shape model parameter via the SCM. By using the SCM, the true locations of the self-occluded FFPs are estimated exactly with simple matrix multiplications. As a result, SfM-based 3D face reconstruction methods combined with the proposed SCM become more robust against point correspondence errors caused by self-occlusion, and the computational cost is significantly reduced. In experiments, the reconstructed 3D facial shape is quantitatively compared with the 3D facial shape obtained from a 3D scanner, and the results show that SfM-based 3D face reconstruction methods with the proposed SCM show a higher accuracy and a faster processing time than SfM-based 3D face reconstruction methods without the SCM.     

一种基于部件空间分布的三维模型检索方法

三维形状分析是三维模型检索的关键问题.提出一种基于三维模型部件空间分布的形状特征描述方法.此方法的主要思想是依据认知心理学的理论,在描述对象形状时强调它的结构属性.首先将三维模型分割为若干个组成部件,每个部件用一个曲面片表示,然后采用曲面片的质心位置、面积占总面积的百分比的组合作为部件特征,最后将满足指定条件的部件特征的集合作为三维模型的形状特征.基于这一特征表示,给出了一种三维模型检索方法.该方法具有受模型精度和连通性影响较小、相似性度量的计算速度较快的优点.实验结果验证了该检索方法的有效性.     

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。     

三维鼻形:一种新的生物特征识别模式

鼻子是脸部最显著的器官之一,首次用三维鼻形作为生物特征进行身份识别,并提出了有效的三维鼻形识别方法,包括基于特征点的鼻子区域定位、利用ICP方法进行鼻形对齐、相似度量定义3个步骤.在FRGC 1.0数据库上获得3.15%的等错误率和92.1%的rank-1识别率,实验结果表明,采用三维鼻形有较强的判别能力.     

一种三维人脸图像的快速拼接算法

三维人脸扫描仪使用双眼式正弦波光栅移相法三维成像原理．经过计算得到左右两幅在同一坐标下的三维数据图像．再将这两幅图像拼接成一幅完整的人脸正面图像．针对该系统,提出一种基于人脸固有特征的快速三维图像拼合算法．实验验证了该算法的有效性．     

面向应用的个性化3D人脸模型快速生成技术

真实感3D人脸模型生成技术是计算机图形领域研究的热点问题之一,但已有的相关方法存在真实感差、算法复杂度高、局限性多、实用性弱等问题．在分析3D人脸模型姿态矫正和模型变换方法基础上,研究基于一张人脸正面图像和普通3D人脸模型、采用关键特征点匹配和真实感纹理映射方法构建个性化3D人脸模型的方法,最后利用基于C＋＋和OpenGL实现的原型系统进行实验分析．实验结果表明该方法计算简单、建模效率高,且适用于影视特效制作、3D网络游戏、医学美容等领域．     

深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

从视频中恢复三维人脸的实时方法

三维人脸恢复是视觉交互的一个难点问题,提出了一种从视频中实时恢复三维人脸的新方法.该方法利用主动形状模型进行人脸特征点提取和跟踪,确保了三维形状恢复和特征跟踪的有效性和一致性;采用非刚体形状和运动估计方法构建三维形变基,有效地适应人脸形状变化的多样性;采用非线性优化算法估算人脸姿态和三维形变基参数,实现了三维人脸形状和姿态的实时恢复.实验结果表明,该方法不仅能从视频中实时恢复三维人脸模型,而且可有效跟踪人脸各种姿态的变化.