3DMM与GAN结合的实时人脸表情迁移方法

快速实时生成表情逼真、姿态自然的虚拟人脸一直是较为有挑战性的研究。提出一种基于3DMM与GAN结合的实时人脸表情迁移方法。通过目标人脸的一段表演视频,将表演人员与目标人脸关键点建立映射关系,使用二维RGB摄像头实时跟踪表演人脸关键点并利用GAN生成目标虚拟人脸特征点,进一步估计人脸姿态。利用3DMM构成二维到三维人脸模型的重建,实时渲染出当前姿态的二维人脸表情,再将表演人脸表情与目标人脸表情进行融合,生成表情逼真的目标人脸。对比实验表明,该方法能得到更为逼真的人脸表情,可以模仿出目标人脸真实的表情,同时也能够达到实时性,在创建逼真的视频方面实现了更大的灵活性。同时,提出一种针对人脸表情迁移仿真效果的验证方法可以客观评价仿真人脸的结果。     

数据增广下的人脸识别研究

随着计算机技术的发展和应用,人脸识别技术以其具有的非强制性、非接触性、并发性等优势得到了越来越广泛的应用。大规模数据是提高基于深度学习人脸识别准确率的关键因素,但往往数据不易获得,并且存在训练数据缺乏测试数据样本的情况,如模糊、亮度失真和腐蚀感画质样本等。针对训练数据缺乏问题,提出了利用滤波、亮度调节和腐蚀操作3种传统图像处理方法10种增广方式增加数据量和数据的多样性,进而提高识别算法的性能。将原始数据和增广数据作为训练数据训练模型,选择从不同地方拍摄的视频上截取的人脸图像组成了四个测试集,实验结果表明,增广数据与测试集样本存在一致性时,增广方式对提升识别性能都有一定的效果,其中最好的效果是对图像整体调亮时在一个测试集上的识别率提高了4.02%。