基于曲面形变的三维人脸样本配准

三维人脸样本是人脸识别、人脸动画等领域进行模型训练、算法设计及性能比较的重要数据平台。为了提高三维人脸样本的配准效果和配准速度,提出一种基于曲面变形的三维人脸样本配准方法。该方法通过对标准化样本实施一系列的变形操作来建立原始样本与标准样本之间的对应关系。然后基于该对应关系对原始样本进行配准处理,在处理过程中使用统计方法对样本上的毛刺点和空洞进行修补。实验结果表明,使用该方法可以快速、有效地对不同格式的原始样本进行配准。     

深度人脸识别的光照分析

光照是影响人脸识别效果的重要因素,针对当前人脸数据建库技术构建满足光照分析需求的数据库难度较大的问题,开展基于三维人脸模型的深度人脸识别光照分析研究.首先,借助三维人脸模型,根据人脸基图像表示理论提出一种对应任意光照的人脸图像生成方法,用于构建光照分析所需的人脸图像库;然后,利用构建的多光照人脸图像库分析不同光照采样方案对人脸识别模型性能的影响,探索建库所需的最优光照采样方案;最后,借助虚拟数据具有准确光照标注的优势,基于多任务学习框架测试不同光照标注方法对识别网络训练效果的影响,进一步提高深度人脸识别网络对光照变化的鲁棒性.通过在虚拟数据和真实数据上开展的不同光照采样方案及标注方法对人脸识别模型性能影响的实验得出,使用适量基图像光照构建数据库是一种有效的光照采样方案,而准确的光照标注可进一步提升人脸识别率,对应的识别模型在具备极端光照的测试集上的人脸识别率可达98%以上.该研究提高了深度人脸识别模型的性能,为构建人脸图像库的光照采样策略和光照标注方法提供了依据.     

基于形变模型的三维人脸重建方法及其改进

形变模型（morphable model）是近几年出现的三维人脸建模新方法．该方法使用原型人脸的组合表示新的人脸,对于特定人脸图像,通过模型匹配实现了三维人脸的自动重建．虽然形变模型具有自动化、真实感好等优点,但现有形变模型的建立依赖于不稳定的人脸图像对应光流算法,模型匹配只考虑了一般光照环境下的人脸重建问题,且建模计算量大．针对以上问题,文章对形变模型进行了改进：提出了网格重采样的方法,实现了模型人脸数据的精确对应;建立了多分辨率的三维人脸模型;在模型匹配过程中采用了多光源光照模型,使模型可适用于复杂光照环境下的人脸重建．实验结果表明,上述改进可以有效提高模型匹配的效率和准确性以及模型对光照的适应性．     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于单幅正面照片的三维人脸重建方法

三维人脸重建算法需要多张照片实现重建且重建效率低下。针对上述问题,提出一种利用单幅正面照片重建三维人脸的方法。采用薄板样条函数对数据库中的三维人脸确立点对点的对应关系,建立平均三维人脸模型,利用LMA算法优化形状系数以恢复其三维形状,人脸颜色纹理信息可通过垂直投影得到。实验结果表明,利用该方法重建得到的三维人脸逼真且时间效率高。     

基于特征点的三维人脸形变模型

针对传统三维人脸形变模型效率低的不足,提出了一个基于特征点的线性人脸形变模型.首先,提出一种基于平面模板的对应方法,自动地实现了三维人脸的稠密点对应,建立了人脸线性模型.然后,提出一个基于动态成分的线性形变模型,选择与目标人脸最相关的主成分作为形变模型的基空间.最后,采用一个全局与局部双重形变框架来完成人脸形状建模.实验结果表明,该方法能够获得较好的建模精度,可以通过真实照片上的少量特征点生成逼真的三维人脸模型.     

基于多视角的高精度三维人脸重建

提出了一种多阶段优化的方法来解决基于多视角图片在未知姿态、表情以及光照条件下的高精度三维人脸重建问题.首先,通过重新渲染合成的方法将参数化模型拟合到输入的多视角图片,然后在纹理域上求解一个光流问题来获取不同视角之间的对应关系.通过对应关系可以恢复出人脸的点云,并利用基于明暗恢复几何的方法来恢复人脸细节.在真实数据以及合成数据下的实验结果表明,文中方法能够恢复出带有几何细节的高精度的三维人脸模型,并且提高了现有方法的重建精度.     

基于特征点加细的多分辨率人脸形变模型及人脸建模

提出基于特征点加细的原型三维人脸对应方法建立多分辨人脸形变模型,并根据该形变模型的特点使用多分辨模型匹配方法由单张正面人脸图像进行三维人脸建模。该方法以人脸模型上的眼、眉、口、鼻等主要几何特征为基准点标注基础网格,然后通过加细特征点网格完成原型人脸之间的对应,进而建立多分辨率的形变模型;根据形变模型的构造特点,把待匹配图像按照与模型相同方式进行加细,然后进行多分辨的人脸模型匹配。实验结果表明,新的对应算法可以有效地实现原型三维人脸之间的对应,能够克服传统的光流对应算法对应效果差,算法精度低的缺陷,提高形变模型的精度。新的匹配算法不仅能够加速模型的匹配速度,而且可提高模型匹配的效率和精度,缩短模型匹配的时间。     

变形图驱动的人体与脸部网格模板拟合系统

为了建立统一的人体模型数据库/人脸模型数据库,实现了一个用标准三维人体/人脸网格模型拟合扫描数据的系统.该系统为人体模型构建特征点候选区域,用马尔可夫网络对候选区域进行概率预测得到人体特征点的位置;对于人脸模型,采用基于回归树的算法在多幅不同角度的人脸图像上分别检测其二维特征点,融合得到准确的三维特征点位置;得到特征点后,使用相似变换对标准模板和扫描模型的位置朝向以及尺度进行统一;通过特征点引导的变形图算法对标准模板和扫描模型的形状和姿态进行粗配准;最后使用基于稠密点对应的顶点仿射变换拟合得到变形后的标准模板.对CAESAR数据集中的人体模型以及扫描得到的人体和人脸模型均进行了拟合,实验结果表明,该系统能够精确地捕捉扫描数据的几何形状.     

基于三维模型和仿射对应原理的人脸姿态估计方法

该文提出了一种基于人脸三维模型和仿射对应原理从单目视频图像序列中估计人脸空间姿态的方法．其主要思想是利用人脸的三维模型生成特征点正面平行投影,并估算输入帧和该正面平行投影之间的仿射变换参数,然后根据圆一椭圆之间的仿射对应关系得到描述人脸空间姿态的6个参数(3个旋转分量,3个平移分量)的粗略估计值,最后通过基于ICP(Iterative Closest Points：反复最近点)算法的优化迭代过程得到精确值．对石膏像和真实人脸进行的实验结果表明该算法能在较大的姿态变化范围内实现精确的人脸姿态估计．     

Face recognition based on fitting a 3D morphable model

This paper presents a method for face recognition across variations in pose, ranging from frontal to profile views, and across a wide range of illuminations, including cast shadows and specular reflections. To account for these variations, the algorithm simulates the process of image formation in 3D space, using computer graphics, and it estimates 3D shape and texture of faces from single images. The estimate is achieved by fitting a statistical, morphable model of 3D faces to images. The model is learned from a set of textured 3D scans of heads. We describe the construction of the morphable model, an algorithm to fit the model to images, and a framework for face identification. In this framework, faces are represented by model parameters for 3D shape and texture. We present results obtained with 4,488 images from the publicly available CMU-PIE database and 1,940 images from the FERET database.     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

基于多区域融合的表情鲁棒三维人脸识别算法

为了实现三维人脸识别算法对表情变化的鲁棒性，提出一种基于语义对齐的多区域模板融合三维人脸识别算法。首先，为了实现三维人脸在语义上的对齐，将所有三维人脸模型与预定义标准参考模型做稠密对齐。然后，根据人脸表情具有区域性的特点，为了不受限于区域划分的精准度，提出基于多区域模板的相似度预测方法。最后，采用多数投票法将多个分类器的预测结果融合得到最终识别结果。实验结果表明，在FRGC v2.0表情三维人脸数据库上所提算法可以达到98.69%的rank-1识别率，在含有遮挡变化的Bosphorus数据库上该算法达到84.36%的rank-1识别率。     

2D face fitting-assisted 3D face reconstruction for pose-robust face recognition

Recent face recognition algorithm can achieve high accuracy when the tested face samples are frontal. However, when the face pose changes largely, the performance of existing methods drop drastically. Efforts on pose-robust face recognition are highly desirable, especially when each face class has only one frontal training sample. In this study, we propose a 2D face fitting-assisted 3D face reconstruction algorithm that aims at recognizing faces of different poses when each face class has only one frontal training sample. For each frontal training sample, a 3D face is reconstructed by optimizing the parameters of 3D morphable model (3DMM). By rotating the reconstructed 3D face to different views, pose virtual face images are generated to enlarge the training set of face recognition. Different from the conventional 3D face reconstruction methods, the proposed algorithm utilizes automatic 2D face fitting to assist 3D face reconstruction. We automatically locate 88 sparse points of the frontal face by 2D face-fitting algorithm. Such 2D face-fitting algorithm is so-called Random Forest Embedded Active Shape Model, which embeds random forest learning into the framework of Active Shape Model. Results of 2D face fitting are added to the 3D face reconstruction objective function as shape constraints. The optimization objective energy function takes not only image intensity, but also 2D fitting results into account. Shape and texture parameters of 3DMM are thus estimated by fitting the 3DMM to the 2D frontal face sample, which is a non-linear optimization problem. We experiment the proposed method on the publicly available CMUPIE database, which includes faces viewed from 11 different poses, and the results show that the proposed method is effective and the face recognition results toward pose variants are promising.     

基于排除算法的快速三维人脸识别方法

提出了一种基于排除算法的快速三维人脸识别方法. 首先, 利用主成分分析(Principal component analysis, PCA)对自动切割的不同姿态人脸进行校正, 将所有人脸转换到统一的坐标系下; 然后提取人脸侧面轮廓线, 利用基于LTS-Hausdorff距离的轮廓线对齐方法对库集对象进行排除; 最后, 采用基于刚性区域的改进迭代最近点(Iterative closest point, ICP)算法对剩余的库集模型进行精确匹配, 给出最终识别结果. 在FRGC V2.0人脸数据库的实验结果表明, 该方法具有较好的实时性和鲁棒性.     

基于改进ASM的三维人脸自动对齐算法

针对传统三维人脸对齐算法需要大量人工操作和数据冗余的不足,提出一种基于改进主动形状模型的三维人脸自动对齐算法。该算法对二维人脸进行快速自动特征定位,根据三维人脸柱面展开的二维纹理图进行自动特征定位并分片。采用基于平面模板的重采样算法,自动实现三维人脸顶点稠密对齐。实验结果表明,该算法在提高运算速率的同时,得到的归一化结果与原始数据仍能保持99%形状相似度。     

人脸识别中光照补偿参数及必要性的判定方法*

针对实际人脸识别应用中大量人脸无须作光照补偿的情况,分别用2DPCA和Fisher两种人脸识别方法对FRVT标准人脸库进行识别,得出准确的影响人脸识别的光照方向参数,并提出了一种简单快速的判断是否需补偿的方法.实验证明,经过光照补偿判定后进行的人脸识别实验,需补偿人脸数目大量减少,运算量大大降低,人脸识别速度可以提高近四倍.     

基于遗传算法重采样的人脸样本扩张

无论是对人脸检测还是人脸识别来说,训练或测试一个分类器都要进行数据的收集,目前所有基于统计学习的方法都存在这个问题.提出了一种针对已有的人脸样本通过采用遗传算法进行重采样来扩张样本的算法.其基本思想是,基于人脸样本由有限的部件构成,而且遗传算法可以用于模拟自然界中的遗传过程.这种模拟可以涵盖人脸的一些变化,比如不同的光照、姿态、饰物、图片质量等.为了证明该算法所生成样本的推广能力,将这些生成的样本用于训练一个基于AdaBoost的人脸检测器,并且将它在MIT+CMU的正面人脸测试库上进行了测试.实验结果表明,通过这种方法来收集数据可以有效地提高数据收集的速度和效率.