真实感3D人脸快速建模研究*

现有的三维人脸建模方法存在三点不足：建模条件苛刻、建模精度不高和建模时间长。针对以上不足,提出明暗恢复形状（SFS）和局部形变模型融合的3D人脸建模方法。该方法利用SFS快速恢复3D人脸粗糙数据,得到3D轮廓脸;然后分别对人脸不同局部应用形变模型恢复其局部3D精确数据,并使用其对轮廓脸进行内插平滑处理重建出高精度3D人脸模型。实验结果表明：该方法能够获得较好的建模精度,在短时间内可以通过单幅真实图像重建出个性化的三维人脸模型。     

基于特征点的三维人脸形变模型

针对传统三维人脸形变模型效率低的不足,提出了一个基于特征点的线性人脸形变模型.首先,提出一种基于平面模板的对应方法,自动地实现了三维人脸的稠密点对应,建立了人脸线性模型.然后,提出一个基于动态成分的线性形变模型,选择与目标人脸最相关的主成分作为形变模型的基空间.最后,采用一个全局与局部双重形变框架来完成人脸形状建模.实验结果表明,该方法能够获得较好的建模精度,可以通过真实照片上的少量特征点生成逼真的三维人脸模型.     

基于二维压缩感知的超声k空间重建

压缩感知理论已经应用于多个领域,如MRI,超声等。提出了一个新的超声重建方法,基于二维压缩感知和k空间。在时域采样特定信号,并在k空间中对其进行重建。当处理二维信号(图像)时,传统的方法是将其转换为一维向量,这种方法非常耗时,并且对于大的图像重建来说不切实际,通过二维压缩感知处理这个难题。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息,可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景,因此三维人脸重建技术一直是计算机视觉领域的研究热点.由于真实三维人脸数据较难获取,很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签,作为训练数据,这些数据可能并不精准,从而导致算法的重建精度受到影响.为此,本文提出一种基于multi-level损失函数的弱监督学习模型,结合传统三维人脸形变模型3DMM与深度学习方法,直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息,从而实现基于单张二维人脸图像的三维人脸重建算法.此外,为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题,本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域.实验结果表明,基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于压缩感知的图像快速重建方法

基于多种稀疏变换基和观测矩阵的组合,采用正交匹配追踪算法对图像进行重建。在分析各种组合重建效果的基础上,提出一种图像快速重建方法,对图像进行一级小波分解,提取出近似分量子图像,运用压缩感知技术对其进行恢复,综合细节分量和恢复出的近似分量进行小波逆变换,得到重建图像。实验结果表明,该方法在相同的观测值条件下,能减少算法运行时间,提高重建图像质量。     

一种改进的三维人脸重建方法

以径向基函数散乱数据插值算法为基础,针对该算法在三维人脸建模中的不足,提出一种改进的算法：在三维人脸建模中,根据特征点和非特征点的不同特性对基函数选择不同的参数值,使通用人脸模型的调整变换更加合理;然后应用二元三次多项式插值方法对特征点局部区域进行二次平滑,避免了畸变模型的产生,最终得到完整的三维人脸模型。实验结果表明,使用该算法构建的三维人脸模型生成速度快,且具有较高的精确度。     

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。     

一种新的单张照片三维人脸重建方法

针对利用反向传播神经网络实现单张照片三维人脸重建方法中速度慢、精度低的缺点,提出了一种改进反向传播神经网络,该方法通过引入混沌变异思想有效解决了APSO算法中的早熟问题,然后以此APSO算法取代传统反向传播神经网络的梯度下降算法,通过对基于传统反向传播神经网络和改进反向传播神经网络的单张照片三维人脸重建方法对比实验,结果表明,采用改进后的反向传播神经网络算法实现的单张照片三维人脸重建,重建的三维人脸更加逼真,并且模型重建的效率和精度也得到了明显提高,重建的时间也大大减少.     

基于二维图像三维重建的人脸特征提取技术研究

采用基于二维图像的三维重建对人脸特征进行提取.首先应用平行双目视觉原理获取人脸的二维图像,然后对图像进行预处理,消除图像上的噪音点,增强图像,以便提取特征点,对这些二维图像上的特征点进行优化计算,最后得到整体人脸的三维特征点信息.     

双目视觉下基于区域生长的三维人脸重建算法

为解决传统立体匹配算法匹配低纹理人脸图像时极易产生误匹配的问题,提出一种基于区域生长的人脸立体匹配算法。该算法利用级联回归树算法提取的人脸特征点将人脸划分为不同区域以分别限制各区域的视差搜索范围,从而避免在全局范围上查找匹配点;同时利用人脸的局部形状特性,采用局部曲面拟合的方式筛除误匹配种子点并生成大量可靠种子点用于区域生长;最后,分别在实验室环境采集的人脸图像和FRGC v2.0人脸数据库上进行定性和定量实验。实验结果表明,与传统算法相比,所提算法能够重建出更加准确的三维人脸模型。经点云配准后与人脸点云真实值的均方根误差在2 mm以内,且不同光照、姿态、表情下人脸图像的重建表明所改进的立体匹配算法具有较好的鲁棒性。     

基于样例学习的任意光照下的人脸3D重建方法

待匹配的人脸图像与数据库中的原型图像之间的光照差异是自动人脸识别的主要瓶颈问题之一。提出了一种基于样例学习方式的3D人脸形状重建方法,既可以生成任意光照条件下的数据库中人脸图像,也可以对待识别图像进行重新光照,合成无阴影的图像。该方法在建立人脸数据库时利用光度立体技术分离人脸图像的纹理和形状信息,并用多面体模型在最小二乘意义下恢复其3D信息并更新法向量场以克服阴影误差,从而可以利用计算机图形学的方法合成任意光照条件下和小角度姿态改变时的人脸图像;在识别时采用数据库中3D数据的线性组合形式对输入图像建模,以估计其3D信息,从而可以重新照明。在YaleB人脸数据库上的实验表明,在建立3D人脸数据库后,该方法可以快速恢复输入单幅图像中人脸的3D信息,并生成任意光照条件的该人脸图像。     

基于单张人脸图片和一般模型的三维重建方法

提出一种使用单幅人脸照片进行特征提取、标准模型变形的全自动三维人脸重建方法。使用改进ASM方法自动精确提取人脸特征点,通过使稀疏形变模型匹配平面特征点来获取照片人脸的深度信息,再将一般人脸模型变形到特定人脸。基于肤色模型优化的ASM提取人脸特征,使得一定角度的侧面照片也可以有很好的重建效果。同时,使用基于肤色模型的纹理融合技术使侧面信息缺失的问题得到很好解决。实验证明,该方法快速简便,只用单幅照片全自动化完成重建,无须用户交互,生成的三维模型有较好的真实感。     

Efficient 3D reconstruction for face recognition

Face recognition with variant pose, illumination and expression (PIE) is a challenging problem. In this paper, we propose an analysis-by-synthesis framework for face recognition with variant PIE. First, an efficient two-dimensional (2D)-to-three-dimensional (3D) integrated face reconstruction approach is introduced to reconstruct a personalized 3D face model from a single frontal face image with neutral expression and normal illumination. Then, realistic virtual faces with different PIE are synthesized based on the personalized 3D face to characterize the face subspace. Finally, face recognition is conducted based on these representative virtual faces. Compared with other related work, this framework has following advantages: (1) only one single frontal face is required for face recognition, which avoids the burdensome enrollment work; (2) the synthesized face samples provide the capability to conduct recognition under difficult conditions like complex PIE; and (3) compared with other 3D reconstruction approaches, our proposed 2D-to-3D integrated face reconstruction approach is fully automatic and more efficient. The extensive experimental results show that the synthesized virtual faces significantly improve the accuracy of face recognition with changing PIE.     

Single-view-based 3D facial reconstruction method robust against pose variations

The 3D Morphable Model (3DMM) and the Structure from Motion (SfM) methods are widely used for 3D facial reconstruction from 2D single-view or multiple-view images. However, model-based methods suffer from disadvantages such as high computational costs and vulnerability to local minima and head pose variations. The SfM-based methods require multiple facial images in various poses. To overcome these disadvantages, we propose a single-view-based 3D facial reconstruction method that is person-specific and robust to pose variations. Our proposed method combines the simplified 3DMM and the SfM methods. First, 2D initial frontal Facial Feature Points (FFPs) are estimated from a preliminary 3D facial image that is reconstructed by the simplified 3DMM. Second, a bilateral symmetric facial image and its corresponding FFPs are obtained from the original side-view image and corresponding FFPs by using the mirroring technique. Finally, a more accurate the 3D facial shape is reconstructed by the SfM using the frontal, original, and bilateral symmetric FFPs. We evaluated the proposed method using facial images in 35 different poses. The reconstructed facial images and the ground-truth 3D facial shapes obtained from the scanner were compared. The proposed method proved more robust to pose variations than 3DMM. The average 3D Root Mean Square Error (RMSE) between the reconstructed and ground-truth 3D faces was less than 2.6 mm when 2D FFPs were manually annotated, and less than 3.5 mm when automatically annotated.